Unity Catalog inrichten

Unity Catalog is de governancelaag van Databricks. Hij regelt toegang bij elke query, legt lineage vast en logt activiteit voor audit. Tabellen, views, volumes, functies en modellen krijgen een naam in drie delen: catalog.schema.object.

Eén metastore per cloudregio bevat de catalogi van alle workspaces in die regio. Workspaces die na 8 november 2023 zijn aangemaakt, hebben Unity Catalog standaard aan. Het is een bouwsteen van je data fundament.

Eerst gaan gebruikers, groepen en service principals naar accountniveau, en workspace-lokale groepen worden accountgroepen. Dan koppel je de workspace aan een metastore, zet je de tabellen over en geef je de groepen rechten.

Daarna verwijzen queries en jobs naar de nieuwe namen, gaan bestanden van DBFS naar volumes en draait compute op Databricks Runtime 13.3 LTS of hoger. Voor grote omgevingen is er UCX, een tool van Databricks Labs die eerst een assessment doet. Databricks ondersteunt UCX niet formeel.

Unity Catalog legt lineage automatisch vast voor queries op Databricks, tot op kolomniveau, over alle workspaces aan dezelfde metastore. Je ziet welke jobs, notebooks en dashboards een tabel vullen of gebruiken. De systeemtabellen system.access.table_lineage en column_lineage bewaren een jaar.

Er zijn gaten. Hernoem je een tabel of kolom, dan is de lineage weg, en wie naar een pad verwijst in plaats van een tabelnaam, ziet geen kolomlineage in Catalog Explorer. Power BI kun je als extern object toevoegen.

Ja. Een row filter is een SQL-functie die per rij bepaalt of een gebruiker hem ziet, bijvoorbeeld alleen de eigen regio. Een column mask toont een gemaskeerde waarde, zoals een half BSN.

Voor veel tabellen tegelijk raadt Databricks ABAC aan: beleid op catalogus- of schemaniveau dat werkt op governed tags. Data Classification kan gevoelige data automatisch herkennen en taggen. Welke data gevoelig is en wie wat mag zien, bepaalt jullie organisatie.

Bij een managed table beheert Unity Catalog zowel de toegang als de bestanden, in Delta- of Iceberg-formaat. Databricks raadt managed tables aan voor nieuwe tabellen, omdat onderhoud en optimalisatie dan automatisch gaan.

External tables staan op een pad in je eigen opslag dat via een external location is geregistreerd. Ze zijn handig tijdens een migratie, omdat er geen data hoeft te verhuizen. Laat andere tools er bij voorkeur alleen lezen: wie buiten Unity Catalog om schrijft, omzeilt rechten, audit en lineage.

Compute moet in een Unity Catalog-toegangsmodus draaien: standard, waarbij meerdere gebruikers een cluster delen, of dedicated, voor één gebruiker of groep. Databricks raadt standard aan, tenzij een workload iets nodig heeft dat daar niet werkt, zoals Databricks Runtime for ML, GPU's, R of RDD's.

Tijdens een migratie lopen we daarom alle clusters en jobs na. Oude runtimes en code die direct op mounts leunt, komen dan vanzelf boven.

Unity Catalog is het gereedschap: het dwingt rechten af, toont herkomst en logt toegang. Wie eigenaar is van een domein, welke definitie geldt en wie toegang goedkeurt, spreek je als organisatie af. Dat lees je bij data governance.

Wij richten de catalogus zo in dat die afspraken erin terugkomen, met groepen als eigenaar en verzoeken die bij die eigenaar landen. Bouwen wij het platform, dan kunnen we het ook beheren via beheer en doorontwikkeling.

Als je een nieuwe workspace hebt met één klein team en een handvol tabellen. Unity Catalog staat dan al aan; een catalogus per omgeving en rechten via een paar groepen zijn genoeg.

Twijfel je nog of Databricks wel het platform wordt, begin dan bij die keuze. Op Databricks implementatie lees je hoe we een lakehouse opzetten, en op partners hoe we Databricks en Microsoft Fabric vergelijken.