Ga naar de inhoud

Data engineering bureau Tilburg

We bouwen datapipelines die via een vaste straat van test naar productie gaan. Voor SNG automatiseerden we zo het releaseproces.

Voor SNG automatiseerden we het releaseproces door de DTAP-straat in het Google Cloud Platform

Het DevOps-team van SNG hoeft minder handmatige stappen te zetten, en elke release volgt hetzelfde gecontroleerde proces met Terraform en Kubernetes. Die aanpak passen we ook toe op datapipelines.

Lees de case

Waarom klopt het dashboard niet meer nadat er iets aan de data is veranderd?

Een nieuwe kolom in de bron, een snelle fix in productie of een laadstap die stil faalt. Zonder vaste straat en controles merkt de gebruiker het eerst. Met een goede inrichting merk jij het eerder.

Plan een gesprek

Elke wijziging getest, uitgerold en terug te draaien

Bespreek je pipelines

Een vaste straat

Ontwikkel, test, acceptatie en productie als aparte omgevingen, zoals we voor SNG het releaseproces inrichtten.

Infrastructuur als code

Opslag, rekenkracht en rechten in Terraform of vergelijkbaar, zodat een omgeving opnieuw op te bouwen is.

Controles op elke laadstap

Tests op aantallen, lege velden en sleutels, en een melding als een laadstap faalt of te laat is.

Validatie vóór publicatie

Voor Zorginstituut Nederland ontwikkelden we een validatie- en publicatiepipeline in GitLab, voor gecontroleerde releases van KIK-V-producten.

De pipeline die het vaakst breekt, zetten we als eerste in de straat

  1. Inventarisatie

    Welke bronnen, laadstappen en omgevingen er zijn, wie ze beheert en waar het nu misgaat.

  2. Eén pipeline in de straat

    Versiebeheer, tests en automatisch uitrollen voor de laadstap met de meeste storingen.

  3. Uitbreiden en overdragen

    De rest van de pipelines volgt, met documentatie en monitoring voor je eigen team.

Past een releasestraat voor data bij een klein team?

Toets het in een gesprek

Past als

Meerdere mensen werken aan dezelfde pipelines, rapporten of modellen hangen ervan af, en een fout in productie kost nu een ochtend uitzoeken.

Past niet als

Er is één bron en één rapport dat één persoon beheert, en wijzigingen zijn zeldzaam. Dan is een eenvoudige back-up met documentatie genoeg.

Waar de omvang van afhangt

Hoeveel bronnen en laadstappen er zijn, welk platform jullie gebruiken, of er al versiebeheer is en wie het daarna beheert.

Zitten we dan vast aan jullie?

Nee. Alles staat in jullie eigen versiebeheer en cloudomgeving, gedocumenteerd, zodat je eigen team of een ander bureau verder kan.

Handmatig uitrollen, een script per pipeline of één straat voor alles?

Handmatig uitrollen

Kies dit als er weinig verandert en één persoon alles kent. Het risico is dat kennis en fouten bij die persoon blijven.

Een script per pipeline

Kies dit als je een paar laadstappen hebt die los van elkaar draaien. Elk script heeft dan zijn eigen manier van testen en uitrollen.

Eén straat voor alles

Kies dit als meer mensen aan dezelfde data werken. Ons advies: begin met versiebeheer en tests op de belangrijkste laadstap.

Releasestraten en pipelines bouwden we voor publieke organisaties

Data Science Lab werkt vanuit de Westerdoksdijk in Amsterdam, ook voor organisaties ver daarbuiten. Voor SNG en Zorginstituut Nederland automatiseerden we releases en publicaties. We zijn Microsoft Partner en Databricks Partner.

Plan een kennismaking

De laadstap die je het vaakst repareert, is het begin van het eerste gesprek

Stef Stoelwinder

Stef Stoelwinder

Business Development

Stef is je aanspreekpunt. In het eerste gesprek bespreken we je bronnen, je pipelines en waar ze nu breken.

Welke pipeline wil je als eerste betrouwbaar hebben?

Vertel welke bronnen en welk platform jullie gebruiken. Je krijgt antwoord per mail, of we plannen een eerste gesprek.

Vul een geldig e-mailadres in.

Laat ons weten waar we je mee kunnen helpen.

Veelgestelde vragen

Het bouwt en beheert de pipelines die data uit je bronnen halen, schoonmaken en klaarzetten voor rapportage en modellen. Daar hoort ook bij dat die pipelines betrouwbaar blijven draaien.

Hoe we dat aanpakken, lees je bij data engineering.

Aparte omgevingen voor ontwikkelen, testen, accepteren en productie. Een wijziging gaat pas naar productie als hij in de andere omgevingen goed werkte.

Voor data betekent dat ook een testset die lijkt op de echte gegevens, zonder dat gevoelige gegevens rondgaan.

Tests op het aantal rijen, verplichte velden, unieke sleutels en waarden in een verwacht bereik, plus een controle of de laadstap op tijd klaar was.

Met dbt leggen we zulke tests naast de modellen vast.

Met Azure, Databricks, Microsoft Fabric en Google Cloud, en met tools als Terraform, GitLab en dbt. Voor SNG werkten we op het Google Cloud Platform met Terraform en Kubernetes.

We kiezen wat bij jullie bestaande omgeving past.

Data Science Lab werkt vanuit Amsterdam. Voor de start en belangrijke momenten komen we langs, de rest doen we op afstand met je team.

Veel van het werk zit in jullie eigen omgeving, dus dat gaat goed samen.

Ja. Wil je liever iemand die een tijd bij jullie meebouwt, lees dan over een data engineer inhuren.

Dan richt die persoon de straat in samen met je eigen mensen.

Dan bouwen we eerst het fundament, met de straat er meteen in. Dat is makkelijker dan achteraf. Wil je vooral rapportage, kijk dan naar onze Power BI specialist voor Tilburg.

Voor modellen op die data is er ons data science bureau.

We dragen over met documentatie en monitoring, of we blijven de pipelines beheren. Gaat het later om modellen, lees dan over ons data science bureau voor Tilburg.

Wat het wordt, spreken we vooraf af.