Dados de vários sistemas, conferidos antes do relatório
Reunimos dados do ERP, da loja virtual, dos extratos e de planilhas num só lugar, com conferência a cada carga, para relatórios e sistemas usarem o mesmo número.
Para quem é
Para empresas em que cada área tira um número diferente do mesmo relatório.
O que resolve
- Alguém passa a manhã exportando planilhas de vários sistemas para montar o relatório.
- Financeiro e comercial chegam à reunião com números diferentes para o mesmo mês.
- Uma carga falhou de madrugada e o painel mostrou dados velhos sem avisar ninguém.
- Ninguém sabe de onde veio um número nem que regra o calculou.
- Dados pessoais de clientes circulam em cópias e planilhas que ninguém controla.
O que fazemos
- Conectores de origem
- ERP, bancos de dados, APIs, loja virtual e planilhas lidos de forma automática e agendada.
- Carga incremental
- Só o que mudou desde a última carga é trazido, sem pesar nos sistemas de origem.
- Regras de cálculo em código
- Indicadores calculados por código revisado e testado, no lugar de fórmulas espalhadas em planilhas.
- Testes de qualidade
- Cada carga confere duplicidades, campos vazios e totais; se algo não bate, o dado não segue.
- Monitoramento das cargas
- Alerta quando uma carga falha ou atrasa, antes de alguém abrir um painel desatualizado.
- Dados pessoais sob controle
- Levando em conta a LGPD, só entram os campos necessários, com acesso restrito e mascaramento.
- Origem de cada número
- Para cada indicador, ficam registradas as fontes e as regras que o produziram.
O que você recebe
- Pipelines em produção, com cargas agendadas e reprocessamento
- Tabelas organizadas para relatórios, com dicionário de dados
- Testes de qualidade rodando a cada carga
- Alertas de falha e de atraso nas cargas
- Documentação das fontes, das regras e de quem responde por cada dado
Como fazemos
Inventário
Quais fontes existem, quem usa cada número e onde há dados pessoais.
Definições
Regras de cálculo dos indicadores combinadas com as áreas que os usam.
Primeira fonte
Conectores, transformações e testes para uma fonte e um relatório, de ponta a ponta.
Expansão
As demais fontes entram uma a uma, conferidas contra os números de hoje.
Operação
Alertas, acompanhamento das cargas e ajustes quando um sistema de origem muda.
Exemplos de tecnologia
- Python
- dbt
- Airflow
- Debezium
- Kafka
- PostgreSQL
- BigQuery
No Brasil, tratamos de
- LGPD
- Lei Geral de Proteção de Dados Pessoais (Lei nº 13.709/2018).
Serviços relacionados
Perguntas frequentes
Vocês montam os painéis e relatórios?
O foco é a camada de dados: tabelas organizadas e conferidas, prontas para a ferramenta de BI que a sua empresa usa. Montar os painéis pode entrar no escopo; isso se combina no inventário.
Precisamos de um data warehouse?
Depende do volume e de quantas fontes existem. Com poucas fontes, um PostgreSQL separado do sistema principal pode bastar; um armazém de dados na nuvem entra quando o volume ou as consultas pedem.
Dados pessoais precisam entrar no pipeline?
Só se algum relatório realmente precisar deles. Levamos em conta a LGPD: o que não é necessário fica de fora, e o resto é mascarado ou tem acesso restrito. A base legal de cada uso é decisão do seu encarregado.
As cargas pesam nos sistemas de origem?
Podem pesar, se forem mal feitas. Por isso lemos só o que mudou, de preferência de uma réplica ou do registro de alterações do banco, em horários combinados.
Escreva para a Balkan
Falar sobre o seu projeto