Datakwaliteit verbeteren

Datakwaliteit, in het Engels data quality, is de mate waarin data geschikt is voor het gebruik dat je ervan maakt. Het raamwerk gegevenskwaliteit van NORA, de referentiearchitectuur van de Nederlandse overheid, beschrijft daarvoor onder meer juistheid, compleetheid, consistentie, actualiteit en validiteit.

Dezelfde tabel kan goed genoeg zijn voor een maandrapport en te grof voor een voorspelmodel. Daarom begint verbeteren bij het gebruik, niet bij de tabel. Datakwaliteit is een van de bouwstenen van een betrouwbaar data fundament.

Je legt per veld regels vast en telt hoeveel records eraan voldoen, bijvoorbeeld het aandeel klanten met een geldige postcode of het aandeel orders met een bestaand artikelnummer. NORA raadt aan te beginnen met data profiling: een statistisch beeld van elke kolom, met lege waarden, uitschieters en dubbele sleutels.

De meeste regels controleer je automatisch met zoekvragen op de data. Juistheid vaak niet: of de voorraad in het systeem klopt, zie je pas als iemand het schap telt. Meet daarom vooral de kritieke velden, waar een rapport of model echt op rekent, en volg de uitkomst bij elke run.

In dbt (data build tool), dat ook in de dataplatforms van Vivara en Fokker Services Group zit, schrijf je tests naast de transformaties. Standaard zijn er vier: unique, not_null, accepted_values en relationships. Een test zoekt de records die de regel breken; vindt hij er geen, dan slaagt hij.

Databricks kent expectations in pipelines: per regel kies je of een fout record wordt doorgelaten en geteld, wordt weggelaten of de verwerking stopt. In Unity Catalog bewaakt data quality monitoring of tabellen op tijd en compleet binnenkomen. Werk je met Microsoft Fabric, dan biedt Microsoft Purview profilering, kwaliteitsregels en scores.

Dat spreek je per regel af. Een ontbrekend e-mailadres hoeft een omzetrapport niet tegen te houden: dat record laat je door en je telt het. Een order zonder bestaande klant zet je apart. Klopt het totaal van een financiële rapportage niet, dan kun je de verwerking beter laten stoppen dan een fout cijfer tonen.

Afgekeurde records komen als melding bij de eigenaar van de bron. NORA raadt aan fouten waar mogelijk in de bron te corrigeren en de oorzaak te zoeken, zodat je niet elke week hetzelfde symptoom bestrijdt.

Ja, daar zitten vaak de lastigste fouten. Master data zijn de stamgegevens die in meerdere systemen terugkomen: klanten, artikelen, leveranciers en locaties. Staat een artikel in het ERP en in de webshop onder een andere code, dan telt elk rapport dat beide combineert verkeerd.

In een dataplatform koppelen we zulke gegevens en leggen we vast welke bron per veld leidend is. Voor het Koninklijk Concertgebouworkest koppelen, structureren en standaardiseren we data uit meerdere systemen en archieven.

Volgens de Autoriteit Persoonsgegevens moeten organisaties ervoor zorgen dat persoonsgegevens juist zijn en ze actualiseren als dat nodig is. Mensen kunnen vragen om gegevens aan te passen die niet kloppen. Dat beginsel heet juistheid, en je moet kunnen aantonen dat je je eraan houdt.

Voor AI-systemen met een hoog risico eist artikel 10 van de AI-verordening dat trainings-, validatie- en testdata relevant, voldoende representatief en zo veel mogelijk foutloos en volledig zijn. Wanneer dat voor jou geldt, lees je bij AI Act. De juridische duiding is aan je jurist of compliance-afdeling.

De organisatie die de data maakt en gebruikt. Per bron hoort er een eigenaar te zijn die beslist wat goed genoeg is, en vaak een data steward die de meldingen oppakt. Hoe je eigenaarschap en definities regelt, lees je bij data governance.

Wij bouwen de controles, de metingen en de meldingen, zo dat je eigen team ze kan onderhouden. Bouwen wij het dataplatform, dan kunnen we het daarna ook beheren via beheer en doorontwikkeling.

Als de data maar één keer wordt gebruikt, zoals in een losse analyse: corrigeer dan direct. En als de fouten uit één invoerscherm komen, volstaat vaak een verplicht veld of een keuzelijst in dat systeem.

Wacht ook niet tot alles op orde is voordat je met rapportage of AI begint. Begin bij de data waar één belangrijk rapport of model op rekent, en breid uit als dat werkt. Staat de data verspreid over losse systemen en bestanden, dan helpt eerst een centraal dataplatform.