Melhorar a qualidade dos dados
Tornamos a qualidade dos dados mensurável e corrigimos os erros na origem. Para a Vivara, construímos uma plataforma de dados com uma única fonte central para todos os departamentos.
A Vivara queria reunir os seus dados num único local, com a máxima qualidade dos dados
Para a Vivara, desenvolvemos uma plataforma de dados que recolhe diariamente dados de fontes como SAP, Magento e SharePoint e os armazena no Azure Databricks. Um modelo de dados à medida permite a todos os departamentos, das finanças ao marketing, analisar os dados.
Onde surgem os erros nos nossos dados?
O sistema ERP e a loja online apresentam níveis de stock diferentes, há um artigo duplicado nos dados-mestre e, todas as segundas-feiras, alguém corrige a situação no Excel. Medimos onde ocorrem os erros e tratamos da causa, na origem ou no processamento.
Detete erros na pipeline antes de alguém os ver num relatório
Regras para cada utilização
Para cada relatório ou modelo, definimos quais são os campos críticos e quando um valor é válido, completo e suficientemente atualizado.
Testes em cada execução
As verificações de chaves únicas, campos vazios e valores válidos são executadas juntamente com os dados. As verificações da qualidade dos dados estão integradas na plataforma de dados da Fokker Services Group.
Visível por fonte
Pode ver o resultado de cada medição por fonte e por tabela, por exemplo no Power BI. Assim, o responsável sabe o que está a correr mal.
Desvios que se destacam
Se os dados que um modelo recebe mudarem, a monitorização emite um alerta. Para a Rijkswaterstaat, desenvolvemos um pacote para detetar drift e outliers.
O que é suficientemente bom depende do relatório ou modelo que se baseia nos dados
-
Definir a utilização e as regras
Que relatório ou modelo depende dos dados, que campos são críticos e quando é que um valor é suficientemente bom?
-
Analisar perfis e medir
Analisamos o perfil das fontes e implementamos as regras como testes na pipeline, com uma medição a cada execução.
-
Resolver a causa e monitorizar
Corrigimos os erros na fonte ou no processamento. Depois, a monitorização sinaliza alterações na qualidade.
É necessária uma abordagem à qualidade dos dados ou basta a validação na entrada de dados?
Adequa-se quando
Vários relatórios ou modelos dependem de dados de diferentes fontes, os valores são corrigidos manualmente ou uma aplicação de IA exige dados de treino comprovadamente fiáveis.
Não se adequa quando
Os erros têm origem num único ecrã de introdução de dados de um sistema. Nesse caso, um campo obrigatório ou uma lista de opções nesse sistema é muitas vezes suficiente, sem acrescentar outra camada.
O que determina a dimensão do projeto
O número de fontes e tabelas, quantas regras são críticas, se já existe uma plataforma de dados, com que frequência os dados são atualizados e quem trata dos alertas. A sua equipa disponibiliza o acesso e um responsável por cada fonte.
Ficamos dependentes de uma ferramenta?
As regras ficam guardadas como código no vosso próprio sistema de controlo de versões, por exemplo como testes dbt ou expectations numa pipeline Databricks. A sua equipa pode depois mantê-las e expandi-las.
Corrigir no relatório, verificar na pipeline ou corrigir na origem?
Corrigir no relatório
Escolha esta opção para uma análise pontual. Terá de repetir cada correção feita no Excel ou numa fórmula do relatório na atualização seguinte.
Verificar na pipeline
Escolha esta opção se vários relatórios ou modelos fizerem cálculos com os mesmos dados. Recomendamos testes em cada execução, com uma notificação ao responsável pela fonte.
Corrigir na origem
Escolha esta opção se o erro ocorrer na introdução dos dados. Um campo obrigatório ou uma lista de seleção evita-o; para isso, é preciso chegar a acordo com o responsável pela fonte. Consulte data governance.
As verificações da qualidade dos dados fazem parte das plataformas de dados que construímos
A Data Science Lab trabalha com dados e IA desde 2016, enquanto parceira da Databricks e da Microsoft. Construímos plataformas de dados para a Vivara e a Athlon, entre outros clientes, e estamos a construir uma para a Fokker Services Group, com verificações da qualidade dos dados integradas.

A primeira conversa é sobre um relatório em que, neste momento, não confia
Stef Stoelwinder
Desenvolvimento de NegócioStef é o seu primeiro ponto de contacto. Na primeira conversa, discutimos que dados estão incorretos e quem depende deles — nas suas instalações, em Amesterdão ou online.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Como podemos tornar os nossos dados novamente fiáveis?
Descreva que dados estão incorretos e quem depende deles. Receberá uma resposta por e-mail ou agendaremos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
A qualidade dos dados é o grau em que os dados são adequados à utilização que lhes dá. O referencial de qualidade dos dados da NORA, a arquitetura de referência do governo neerlandês, descreve dimensões como a exatidão, a completude, a consistência, a atualidade e a validade.
A mesma tabela pode ser suficiente para um relatório mensal, mas demasiado pouco detalhada para um modelo preditivo. Por isso, melhorar a qualidade começa pela forma como utiliza os dados, não pela tabela. A qualidade dos dados é um dos elementos de uma fundação de dados fiável.
Define regras para cada campo e conta quantos registos as cumprem, por exemplo, a proporção de clientes com um código postal válido ou de encomendas com um código de artigo existente. A NORA recomenda começar pelo data profiling: uma análise estatística de cada coluna, incluindo valores em falta, valores atípicos e chaves duplicadas.
Pode verificar a maioria das regras automaticamente com consultas aos dados. A exatidão é muitas vezes mais difícil de verificar: só sabe se o inventário registado no sistema está correto quando alguém conta os artigos na prateleira. Concentre as medições nos campos críticos de que um relatório ou modelo realmente depende e acompanhe os resultados em cada execução.
No dbt (data build tool), também utilizado nas plataformas de dados da Vivara e da Fokker Services Group, escreve testes a par das transformações. Existem quatro testes padrão: unique, not_null, accepted_values e relationships. Um teste procura os registos que violam a regra; se não encontrar nenhum, passa.
O Databricks disponibiliza expectations nas pipelines: para cada regra, escolhe se um registo com erro passa e é contabilizado, se é excluído ou se o processamento pára. No Unity Catalog, o data quality monitoring verifica se as tabelas chegam a tempo e completas. Se trabalha com o Microsoft Fabric, o Microsoft Purview disponibiliza criação de perfis, regras de qualidade e pontuações.
Isso é definido regra a regra. A falta de um endereço de email não precisa de impedir um relatório de receitas: deixa passar o registo e contabiliza-o. Uma encomenda sem um cliente existente é colocada de parte. Se o total de um relatório financeiro não estiver correto, é preferível parar o processamento a apresentar um valor errado.
O responsável pela fonte recebe uma notificação sobre os registos rejeitados. A NORA recomenda corrigir os erros na origem, sempre que possível, e procurar a causa, para não ter de tratar o mesmo sintoma todas as semanas.
Sim. É aí que surgem muitas vezes os erros mais difíceis. Os dados mestres são os dados de referência presentes em vários sistemas: clientes, artigos, fornecedores e localizações. Se um artigo tiver um código no ERP e outro na loja online, qualquer relatório que combine os dois sistemas fará uma contagem incorreta.
Numa plataforma de dados, associamos estes dados e definimos qual é a fonte que prevalece para cada campo. Para o Koninklijk Concertgebouworkest, associamos, estruturamos e normalizamos dados de vários sistemas e arquivos.
Segundo a Autoridade Neerlandesa para a Proteção de Dados, as organizações devem garantir que os dados pessoais são exatos e atualizá-los quando necessário. As pessoas podem pedir a correção de dados incorretos. Este é o princípio da exatidão, e tem de conseguir demonstrar que o cumpre.
Para sistemas de IA de alto risco, o artigo 10.º do Regulamento da IA exige que os dados de treino, validação e teste sejam relevantes, suficientemente representativos e, tanto quanto possível, isentos de erros e completos. Pode ler sobre quando isto se aplica à sua organização na página AI Act. A interpretação jurídica cabe ao seu advogado ou departamento de conformidade.
A organização que cria e utiliza os dados. Cada fonte deve ter um responsável que decida o que é suficientemente bom e, muitas vezes, um data steward que trate das notificações. Pode ler sobre como definir responsabilidades e conceitos em governação de dados.
Criamos as verificações, as medições e as notificações para que a sua equipa possa mantê-las. Se construirmos a plataforma de dados, também podemos geri-la depois através da gestão e melhoria contínua.
Além da qualidade dos dados, o que é necessário para um ambiente de dados fiável?
- Fundação de dadosComo construímos um ambiente de dados fiável, com a qualidade dos dados como um dos seus pilares.
- Data governanceAcordos sobre a titularidade dos dados, as definições e a qualidade, para que alguém dê seguimento aos alertas.
- Data engineeringAs pipelines que recolhem dados das suas fontes e nas quais são executadas as verificações.