Melhorar a qualidade dos dados

A qualidade dos dados, ou data quality em inglês, é o grau em que os dados são adequados à utilização que lhes é dada. O referencial de qualidade dos dados da NORA, a arquitetura de referência do Governo neerlandês, descreve, entre outros aspetos, a exatidão, a completude, a consistência, a atualidade e a validade.

A mesma tabela pode ser suficientemente boa para um relatório mensal e demasiado pouco detalhada para um modelo preditivo. Por isso, a melhoria começa pela forma como os dados são utilizados, não pela tabela. A qualidade dos dados é um dos elementos de uma fundação de dados fiável.

Defina regras para cada campo e conte quantos registos as cumprem, por exemplo, a proporção de clientes com um código postal válido ou a proporção de encomendas com um número de artigo existente. A NORA recomenda começar com data profiling: uma visão estatística de cada coluna, incluindo valores vazios, valores atípicos e chaves duplicadas.

A maioria das regras pode ser verificada automaticamente através de consultas aos dados. A exatidão, muitas vezes, não: só é possível saber se o stock registado no sistema está correto quando alguém conta os artigos na prateleira. Por isso, meça sobretudo os campos críticos de que um relatório ou modelo realmente depende e acompanhe os resultados a cada execução.

No dbt (data build tool), também utilizado nas plataformas de dados da Vivara e da Fokker Services Group, pode escrever testes junto das transformações. Existem quatro testes padrão: unique, not_null, accepted_values e relationships. Um teste procura os registos que violam a regra; se não encontrar nenhum, passa.

O Databricks disponibiliza expectations em pipelines: para cada regra, pode escolher se um registo com erro é aceite e contabilizado, excluído ou se o processamento é interrompido. No Unity Catalog, o data quality monitoring verifica se as tabelas chegam a tempo e completas. Se trabalhar com Microsoft Fabric, o Microsoft Purview disponibiliza profiling, regras de qualidade e pontuações.

Isso é definido para cada regra. A falta de um endereço de email não precisa de impedir um relatório de receitas: o registo pode ser aceite e contabilizado. Uma encomenda sem um cliente existente pode ser colocada à parte. Se o total de um relatório financeiro estiver incorreto, é preferível interromper o processamento a apresentar um valor errado.

Os registos rejeitados são comunicados ao responsável pela fonte. A NORA recomenda corrigir os erros na fonte, sempre que possível, e procurar a causa, para não ter de resolver o mesmo sintoma todas as semanas.

Sim. É aí que muitas vezes se encontram os erros mais difíceis. Os master data são os dados de referência que aparecem em vários sistemas: clientes, artigos, fornecedores e localizações. Se um artigo tiver códigos diferentes no ERP e na loja online, qualquer relatório que combine os dois apresentará uma contagem incorreta.

Numa plataforma de dados, ligamos estes dados e definimos qual é a fonte principal para cada campo. Para o Koninklijk Concertgebouworkest, ligamos, estruturamos e uniformizamos dados de vários sistemas e arquivos.

Segundo a autoridade neerlandesa de proteção de dados, as organizações devem assegurar que os dados pessoais estão corretos e atualizá-los quando necessário. As pessoas podem pedir a correção de dados incorretos. Este é o princípio da exatidão, e é necessário poder demonstrar o seu cumprimento.

Para os sistemas de IA de risco elevado, o artigo 10.º do Regulamento da IA exige que os dados de treino, validação e teste sejam relevantes, suficientemente representativos e, tanto quanto possível, isentos de erros e completos. Para saber quando isto se aplica à sua organização, consulte AI Act. A interpretação jurídica cabe ao seu advogado ou departamento de compliance.

A organização que cria e utiliza os dados. Cada fonte deve ter um responsável que decida o que é suficientemente bom e, muitas vezes, um data steward que trate dos alertas. Para saber como organizar as responsabilidades e as definições, consulte data governance.

Criamos as verificações, as medições e os alertas para que a sua equipa os possa manter. Se construirmos a plataforma de dados, também podemos assegurar a sua gestão posterior através de gestão e melhoria contínua.

Se os dados forem utilizados apenas uma vez, como numa análise pontual, corrija-os diretamente. E se os erros tiverem origem num único ecrã de introdução de dados, muitas vezes basta tornar um campo obrigatório ou acrescentar uma lista de opções nesse sistema.

Também não espere que tudo esteja em ordem para começar a produzir relatórios ou a utilizar IA. Comece pelos dados de que depende um relatório ou modelo importante e alargue a abordagem se funcionar. Se os dados estiverem dispersos por sistemas e ficheiros separados, uma plataforma de dados central pode ser o primeiro passo.