Data lakehouse laten bouwen

Een data lakehouse combineert de goedkope, open opslag van een data lake met de betrouwbaarheid van een datawarehouse. De data staat als bestanden in een open formaat, maar met een laag erboven die transacties, schemacontrole en rechten regelt.

Zo werken rapportage, analyse en machine learning op dezelfde gevalideerde tabellen, in plaats van op elk een eigen kopie. Het lakehouse is een onderdeel van ons data fundament.

Een datawarehouse levert schone, gestructureerde tabellen voor BI en wordt meestal in SQL ontwikkeld. Een lakehouse kan daarnaast ongestructureerde en semigestructureerde data bewaren, zoals logbestanden en JSON, en is gebouwd voor Spark en Python naast SQL.

De grens vervaagt: in Microsoft Fabric slaan lakehouse en warehouse allebei Delta-tabellen op in OneLake. Volgens Microsoft past een warehouse als je T-SQL en transacties over meerdere tabellen nodig hebt. Werk je vooral met gestructureerde data uit ERP en CRM, lees dan over een datawarehouse laten bouwen.

De medallion architectuur, of medaillonarchitectuur, deelt een lakehouse in drie lagen in. Brons bevat ruwe, ongevalideerde data zoals hij uit de bron kwam. Zilver is gevalideerd, opgeschoond en ontdubbeld. Goud bevat tabellen per bedrijfsvraag, voor dashboards en modellen.

Databricks noemt het een aanbevolen werkwijze, geen verplichting, en raadt af om vanuit de inname direct naar zilver te schrijven: een schemawijziging in de bron breekt dan je pipeline. Microsoft adviseert in Fabric elke laag in een eigen workspace te zetten, voor meer grip per laag.

Delta Lake slaat data op als Parquet-bestanden met een transactielog erbij. Dat geeft ACID-transacties, schemacontrole bij het schrijven en een versie per wijziging, zodat je met time travel een eerdere stand kunt opvragen. Het is het standaardformaat in zowel Databricks als Microsoft Fabric.

Omdat het protocol open is, kunnen ook andere tools de tabellen lezen. Met UniForm maakt Databricks er Iceberg-metadata bij, zodat Iceberg-lezers dezelfde bestanden kunnen lezen zonder kopie.

Op Databricks met Unity Catalog: tabellen, volumes en modellen krijgen een naam als catalog.schema.tabel, rechten gaan via groepen en lineage laat zien welke bron in welk dashboard terechtkomt. Voor het Koninklijk Concertgebouworkest werken we met Delta Lake en Unity Catalog.

In Fabric doen workspacerollen, OneLake-beveiliging tot op rij- en kolomniveau en gevoeligheidslabels uit Microsoft Purview dat werk. De afspraken over eigenaarschap en definities horen bij data governance.

Vraagt iemand op grond van de AVG om zijn gegevens te wissen, dan is een DELETE niet genoeg. Delta Lake bewaart oude tabelversies voor time travel, dus de gegevens staan nog in de bestanden tot VACUUM die opruimt. Bij tabellen met deletion vectors is daarvoor eerst nog een REORG-stap nodig.

Databricks adviseert te beginnen in de bronslaag en de verwijdering daarna door te voeren in zilver en goud. Leg dat proces vast voordat het eerste verzoek binnenkomt. Over de juridische kant beslist je jurist of privacyfunctionaris.

Zelden op de techniek. Meestal ontbreekt een eigenaar per tabel, schrijft elk team in zijn eigen map en weet niemand meer welke notebook een goudtabel vult. Dan wordt het lakehouse alsnog een moeras van bestanden.

Ook onderhoud wordt vergeten. Veel kleine bestanden vertragen queries, en zonder VACUUM groeit de opslag door oude versies. Op Databricks regelt predictive optimization dat voor beheerde tabellen. Wie het platform na livegang onderhoudt, spreek je vooraf af; dat kan je eigen team zijn of beheer en doorontwikkeling bij ons.

Als je uit een paar gestructureerde bronnen rapporteert, je team in SQL werkt en er geen machine learning of ongestructureerde data aankomt. Dan is een datawarehouse eenvoudiger te bouwen en te beheren. Gaat het om een handvol overzichten uit één systeem, dan volstaat vaak een Power BI-model op de bron.

Een rommelige bron los je met een lakehouse ook niet op; daar begin je bij afspraken over de invoer. Past een lichtere oplossing, dan zeggen we dat. Wil je eerst aanbieders vergelijken, bekijk dan ons overzicht van dataplatformbureaus.