Data engineering bureau Tilburg
We bouwen datapipelines die via een vaste straat van test naar productie gaan. Voor SNG automatiseerden we zo het releaseproces.
Voor SNG automatiseerden we het releaseproces door de DTAP-straat in het Google Cloud Platform
Het DevOps-team van SNG hoeft minder handmatige stappen te zetten, en elke release volgt hetzelfde gecontroleerde proces met Terraform en Kubernetes. Die aanpak passen we ook toe op datapipelines.
Waarom klopt het dashboard niet meer nadat er iets aan de data is veranderd?
Een nieuwe kolom in de bron, een snelle fix in productie of een laadstap die stil faalt. Zonder vaste straat en controles merkt de gebruiker het eerst. Met een goede inrichting merk jij het eerder.
Elke wijziging getest, uitgerold en terug te draaien
Een vaste straat
Ontwikkel, test, acceptatie en productie als aparte omgevingen, zoals we voor SNG het releaseproces inrichtten.
Infrastructuur als code
Opslag, rekenkracht en rechten in Terraform of vergelijkbaar, zodat een omgeving opnieuw op te bouwen is.
Controles op elke laadstap
Tests op aantallen, lege velden en sleutels, en een melding als een laadstap faalt of te laat is.
Validatie vóór publicatie
Voor Zorginstituut Nederland ontwikkelden we een validatie- en publicatiepipeline in GitLab, voor gecontroleerde releases van KIK-V-producten.
De pipeline die het vaakst breekt, zetten we als eerste in de straat
-
Inventarisatie
Welke bronnen, laadstappen en omgevingen er zijn, wie ze beheert en waar het nu misgaat.
-
Eén pipeline in de straat
Versiebeheer, tests en automatisch uitrollen voor de laadstap met de meeste storingen.
-
Uitbreiden en overdragen
De rest van de pipelines volgt, met documentatie en monitoring voor je eigen team.
Past een releasestraat voor data bij een klein team?
Past als
Meerdere mensen werken aan dezelfde pipelines, rapporten of modellen hangen ervan af, en een fout in productie kost nu een ochtend uitzoeken.
Past niet als
Er is één bron en één rapport dat één persoon beheert, en wijzigingen zijn zeldzaam. Dan is een eenvoudige back-up met documentatie genoeg.
Waar de omvang van afhangt
Hoeveel bronnen en laadstappen er zijn, welk platform jullie gebruiken, of er al versiebeheer is en wie het daarna beheert.
Zitten we dan vast aan jullie?
Nee. Alles staat in jullie eigen versiebeheer en cloudomgeving, gedocumenteerd, zodat je eigen team of een ander bureau verder kan.
Handmatig uitrollen, een script per pipeline of één straat voor alles?
Handmatig uitrollen
Kies dit als er weinig verandert en één persoon alles kent. Het risico is dat kennis en fouten bij die persoon blijven.
Een script per pipeline
Kies dit als je een paar laadstappen hebt die los van elkaar draaien. Elk script heeft dan zijn eigen manier van testen en uitrollen.
Eén straat voor alles
Kies dit als meer mensen aan dezelfde data werken. Ons advies: begin met versiebeheer en tests op de belangrijkste laadstap.
Releasestraten en pipelines bouwden we voor publieke organisaties
Data Science Lab werkt vanuit de Westerdoksdijk in Amsterdam, ook voor organisaties ver daarbuiten. Voor SNG en Zorginstituut Nederland automatiseerden we releases en publicaties. We zijn Microsoft Partner en Databricks Partner.

De laadstap die je het vaakst repareert, is het begin van het eerste gesprek
Stef Stoelwinder
Business DevelopmentStef is je aanspreekpunt. In het eerste gesprek bespreken we je bronnen, je pipelines en waar ze nu breken.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Welke pipeline wil je als eerste betrouwbaar hebben?
Vertel welke bronnen en welk platform jullie gebruiken. Je krijgt antwoord per mail, of we plannen een eerste gesprek.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Het bouwt en beheert de pipelines die data uit je bronnen halen, schoonmaken en klaarzetten voor rapportage en modellen. Daar hoort ook bij dat die pipelines betrouwbaar blijven draaien.
Hoe we dat aanpakken, lees je bij data engineering.
Aparte omgevingen voor ontwikkelen, testen, accepteren en productie. Een wijziging gaat pas naar productie als hij in de andere omgevingen goed werkte.
Voor data betekent dat ook een testset die lijkt op de echte gegevens, zonder dat gevoelige gegevens rondgaan.
Tests op het aantal rijen, verplichte velden, unieke sleutels en waarden in een verwacht bereik, plus een controle of de laadstap op tijd klaar was.
Met dbt leggen we zulke tests naast de modellen vast.
Met Azure, Databricks, Microsoft Fabric en Google Cloud, en met tools als Terraform, GitLab en dbt. Voor SNG werkten we op het Google Cloud Platform met Terraform en Kubernetes.
We kiezen wat bij jullie bestaande omgeving past.
Data Science Lab werkt vanuit Amsterdam. Voor de start en belangrijke momenten komen we langs, de rest doen we op afstand met je team.
Veel van het werk zit in jullie eigen omgeving, dus dat gaat goed samen.
Ja. Wil je liever iemand die een tijd bij jullie meebouwt, lees dan over een data engineer inhuren.
Dan richt die persoon de straat in samen met je eigen mensen.
Dan bouwen we eerst het fundament, met de straat er meteen in. Dat is makkelijker dan achteraf. Wil je vooral rapportage, kijk dan naar onze Power BI specialist voor Tilburg.
Voor modellen op die data is er ons data science bureau.
We dragen over met documentatie en monitoring, of we blijven de pipelines beheren. Gaat het later om modellen, lees dan over ons data science bureau voor Tilburg.
Wat het wordt, spreken we vooraf af.