Eén lakehouse waarin engineering, analyse en machine learning op dezelfde, goed beheerde tabellen werken.
Vertrouwd door toonaangevende organisaties
Bij een Databricks implementatie zetten we een lakehouse neer: Delta-tabellen in jouw cloudomgeving, Unity Catalog voor rechten en lineage, Lakeflow voor laden en orkestratie en MLflow voor modellen. Data Science Lab doet dit als Databricks Partner voor organisaties met veel bronnen, grote datavolumes of de ambitie om machine learning echt in productie te brengen.
Veel Databricks-omgevingen beginnen bij één data scientist met een handvol notebooks. Na verloop van tijd draaien er jobs op handmatig aangemaakte clusters, staan tabellen nog in de oude Hive-metastore en weet niemand welke notebook de klanttabel vult waar het marketingrapport op leunt. Vertrekt die collega, dan vertrekt de kennis mee.
Ook de rekening loopt op. Interactieve clusters blijven na werktijd aanstaan en zonder tags is niet te zien welk team welk verbruik veroorzaakte. Tags tellen alleen voor verbruik vanaf het moment dat je ze zet, dus wie later begint, mist de historie.
Het platform doet wat het moet doen. Wat ontbreekt, is een vaste indeling in catalogi, een eigenaar per tabel en een route van ontwikkeling naar productie. Daar begint ons werk binnen data fundament.
Delta Lake voegt aan Parquet-bestanden een transactielog toe. Dat geeft ACID-transacties, schemacontrole bij het schrijven en een nieuwe tabelversie bij elke wijziging. Het protocol is open, dus ook andere tools kunnen de tabellen lezen.
Tabellen, volumes, functies en modellen vallen onder één catalogus met de driedelige naam catalog.schema.object. Rechten geef je aan groepen, en lineage tot op kolomniveau laat zien welke bron in welk dashboard of model terechtkomt.
Ruwe data blijft ongewijzigd in brons, zilver valideert en ontdubbelt, goud levert tabellen voor rapportage en modellen. Databricks raadt af om vanuit de inname direct naar zilver te schrijven: een schemawijziging breekt dan je pipeline.
Lakeflow Connect laadt incrementeel uit bronnen als SQL Server, Salesforce of SharePoint. Declaratieve pipelines bewaken met expectations de kwaliteit per record, en Lakeflow Jobs plant de taken en meldt fouten.
Experimenten, modelversies en goedkeuringen leggen we vast in MLflow, met modellen in Unity Catalog. Model Serving stelt een model beschikbaar als REST-API, zodat je applicaties het aanroepen en het niet in een notebook blijft staan.
SQL-warehouses geven analisten en tools als Power BI of Tableau toegang tot dezelfde gouden tabellen. Databricks raadt serverless warehouses aan waar die beschikbaar zijn, omdat ze snel starten en weer afschalen.
Bespreek je catalogi, kosten of de overstap naar Unity Catalog met een van onze data engineers.
Met je IT-afdeling leggen we de cloudomgeving, regio, netwerk en identiteiten vast en kiezen we classic of serverless compute als uitgangspunt.
We delen Unity Catalog in per omgeving en domein, wijzen per catalogus een eigenaar aan en regelen rechten via groepen uit je identity provider.
We laden de eerste bronnen incrementeel met Lakeflow Connect of eigen code en bewaren de ruwe data, zodat je later opnieuw kunt verwerken.
Voor één concrete vraag bouwen we gevalideerde en geaggregeerde tabellen, met kwaliteitsregels in de pipeline. Gebruikers toetsen de uitkomst aan cijfers die ze kennen.
Compute-beleid beperkt clustertypes en -groottes, automatische uitschakeling stopt vergeten clusters, en tags en budgetmeldingen maken het verbruik per team zichtbaar in de billing-systeemtabel.
Jobs en pipelines leggen we vast in Declarative Automation Bundles in Git, zodat elke release herhaalbaar is. Daarna neemt je team het over of beheren wij het platform.
Het dataplatform is voor ons dé centrale plek waar data samenkomt. Dit zorgt ervoor dat we bedrijf breed data kunnen bieden voor business insights en tegelijkertijd kunnen waarborgen dat er maar 1 versie van de werkelijkheid beschikbaar is
Databricks draait op Azure, AWS en Google Cloud, en de keuze volgt meestal je bestaande cloud. Bij classic compute draaien de clusters in je eigen cloudaccount; serverless compute beheert Databricks zelf, in dezelfde regio als je workspace. Let op regio's: Unity Catalog kent één metastore per regio, en lineage loopt niet over regiogrenzen heen.
Databricks past bij veel bronnen en grote volumes, bij teams die in Python en Spark werken en bij modellen die met versiebeheer en monitoring in productie draaien. Zoek je vooral één platform rond Power BI met weinig infrastructuurbeheer, bekijk dan onze aanpak voor Microsoft Fabric implementatie. Combineren kan ook: Fabric kan de catalogus van Azure Databricks spiegelen, zodat Power BI de gouden tabellen leest zonder kopie.
Bij GVB zetten we in Databricks een MLOps-workflow met herbruikbare templates op, zodat een segmentatiemodel op reisgedrag in productie draait en onderhouden wordt. Voor Fokker Services Group brachten we versnipperde bronnen samen op een Databricks-platform in Azure, voor een planningstool die voorspelt wanneer onderhoud nodig is.
Iedere organisatie kan een AI-pilot starten. De uitdaging zit in de stap daarna. AI onderdeel maken van de organisatie. Dat is waar Data Science Lab het verschil maakt.
Lees meer over ons
10+
8,7
200+
Een werkend lakehouse met een eerste use case erop: incrementeel geladen bronnen, brons-, zilver- en goudtabellen in Delta Lake, rechten en lineage in Unity Catalog en bewaakte jobs. Daarnaast richten we compute-beleid, tags en budgetmeldingen in, plus een releaseproces via Git. Je team bouwt daarop verder zonder de basis opnieuw te leggen.
De kern is op alle drie gelijk: Delta Lake, Unity Catalog, Lakeflow en MLflow. Het verschil zit in de koppeling met je identiteiten, netwerk en opslag, dus kies de cloud waar je data en beheer al zitten. Kies daarnaast bewust een regio: een Unity Catalog-metastore hoort bij één regio. Controleer ook of serverless compute daar beschikbaar is.
Met afspraken die vanaf de start in het platform zitten. Compute-beleid beperkt welke clusters iemand mag starten, automatische uitschakeling stopt inactieve clusters en voor SQL kiezen we serverless warehouses waar dat kan. Tags per team maken het verbruik zichtbaar in de billing-systeemtabel. Budgetten sturen meldingen, maar zijn geen harde limiet: iemand moet er ook op reageren.
Dan migreren we stap voor stap. Databricks raadt aan de oude Hive-metastore eerst als foreign catalog te federeren en tabellen daarna ter plekke om te zetten, zonder data te verplaatsen. Bestaande jobs blijven intussen werken. Daarna zetten we queries en jobs om en sluiten we de oude metastore af, zodat niemand de nieuwe rechten omzeilt.
We leggen experimenten en modelversies vast in MLflow en registreren modellen in Unity Catalog, zodat lineage en rechten ook voor modellen gelden. Model Serving maakt van een model een REST-API voor je applicaties, en jobs regelen het hertrainen. Na livegang volgen we de kwaliteit, want een model kan afdrijven als de data verandert.
We zijn Databricks Partner en ontwerpen platforms volgens de best practices van Databricks. Voor het Koninklijk Concertgebouworkest bouwden we een dataplatform met Databricks, Azure, Delta Lake, Unity Catalog en dbt dat informatie uit meerdere systemen koppelt. Voor Vivara ontwikkelden we een dataplatform dat dagelijks data uit onder meer SAP, Magento en SharePoint in Azure Databricks zet.
Bij een paar bronnen, bescheiden volumes en vooral Power BI-rapportage is een Spark-platform vaak meer dan je nodig hebt. Dan volstaat vaak een goed gemodelleerde database onder Power BI, of Microsoft Fabric als er bronnen en teams bijkomen; voor kleinere organisaties lees je meer bij data en AI voor het mkb. En zonder iemand die de Python- en Spark-code onderhoudt, wordt Databricks eerder een last dan een hulp.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Vertel ons wat er nu draait en waar het knelt. We kijken mee naar catalogi, kosten en de eerste use case die het verschil maakt.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
