Data engineering bureau Groningen
We koppelen, structureren en standaardiseren je bronnen in één dataplatform, zoals we deden voor het Concertgebouworkest met Databricks en dbt.
Voor het Koninklijk Concertgebouworkest maakten we van versnipperde bronnen één dataplatform waarin informatie vindbaar is
De rijke historie van het orkest lag verspreid over systemen, archieven en databronnen. Door data uit meerdere systemen te koppelen, structureren en standaardiseren, maken we informatie sneller vindbaar en breed toegankelijk […].
Waarom zoeken we nog uren naar gegevens die ergens in onze systemen al staan?
Een registratiesysteem, een archief, een paar exports en een spreadsheet die één collega bijhoudt. Zolang niemand weet wat waar staat, begint elk rapport of model met zoeken. Een dataplatform met een catalogus lost dat op.
Bronnen gekoppeld, gegevens gestandaardiseerd en een catalogus die zegt wat waar staat
Koppelen
Systemen, archieven en exports landen in één platform, zoals we voor het Concertgebouworkest data uit meerdere systemen koppelden.
Standaardiseren
Dezelfde begrippen, codes en datums in elke bron, vastgelegd in transformaties die je stap voor stap kunt nalopen.
Vindbaar maken
Een catalogus met per tabel een eigenaar, een beschrijving en wie erbij mag, zodat collega’s zelf zoeken.
Draaiend houden
Laadstappen met controles en meldingen, zodat een kapotte bron opvalt voordat een rapport het verkeerde toont.
Met de bron die het meeste zoekwerk kost, gaan we eerst aan de slag
-
Inventaris van bronnen
Welke systemen, archieven en exports er zijn, wie ze beheert en welke vragen er op wachten.
-
Eén bron volledig
Van ophalen tot nette tabel met beschrijving, getoetst door de collega’s die er nu naar zoeken.
-
Uitbreiden en overdragen
Bron voor bron erbij, met beheer door ons of overdracht aan jullie eigen team.
Heeft een organisatie in het Noorden een eigen dataplatform nodig, of kan het kleiner?
Past als
Gegevens staan in meerdere systemen en archieven, rapporten en modellen gebruiken elk een eigen kopie, en niemand kan zeggen welke versie klopt.
Past niet als
Alles staat in één pakket met goede rapportage, of het gaat om één eenmalige analyse. Dan is een platform meer beheer dan het oplevert, en zeggen we dat.
Waar de omvang van afhangt
Het aantal bronnen, hoe oud en rommelig de gegevens zijn, wie welke gegevens mag zien, de cloud die jullie al gebruiken en wie het beheer overneemt.
Werkt een team uit Amsterdam ook op afstand?
Ja. Het meeste bouwwerk gebeurt in jullie cloudomgeving en kan online. Voor de inventaris en het toetsen met gebruikers komen we naar Groningen.
Een datawarehouse, een lakehouse of eerst alleen een catalogus?
Een datawarehouse
Kies dit als vooral gestructureerde gegevens uit een paar systemen samenkomen voor rapportage. Lees meer bij datawarehouse.
Een lakehouse
Kies dit als ook documenten, archieven en grote bestanden meedoen, en modellen dezelfde data gebruiken. Ons advies bij veel soorten bronnen: begin hier.
Eerst een catalogus
Kies dit als de gegevens er al zijn maar niemand ze vindt. Een beschrijving met eigenaar per bron is dan de snelste winst.
Dataplatforms bouwen we sinds 2016, als Databricks- en Microsoft-partner
Data Science Lab werkt vanuit de Westerdoksdijk in Amsterdam, ook voor organisaties ver daarbuiten. Voor het Concertgebouworkest bouwden we een dataplatform met Databricks, Delta Lake, Unity Catalog en dbt.

Voor het eerste gesprek volstaat een lijst van je systemen en de vragen die erop wachten
Stef Stoelwinder
Business DevelopmentStef is je eerste aanspreekpunt. In het eerste gesprek bespreken we je bronnen, waar collega’s nu het langst naar zoeken en welke cloud jullie al gebruiken.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Welke bron kost jullie nu de meeste tijd om in te zoeken?
Vertel welke systemen, archieven en exports er zijn en wat je ermee wilt. Je krijgt antwoord per mail, of we plannen een eerste gesprek.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Het bouwt de basis onder rapporten en modellen: bronnen ophalen, gegevens standaardiseren en in een platform zetten waar iedereen dezelfde, gecontroleerde versie gebruikt. Daarna houdt het de laadstappen draaiend.
Hoe we dat werk aanpakken, lees je bij data engineering.
Nee. We werken vanuit Amsterdam, aan de Westerdoksdijk. Met organisaties in Groningen, Friesland en Drenthe werken we grotendeels online, en komen we langs voor de inventaris en het toetsen met gebruikers.
Geen van de cases hier speelt in Groningen; ze laten zien wat we bouwen.
Eerst bekijken we wat er is: welke velden, welke periodes, welke codes. Dan zetten we de gegevens ongewijzigd in het platform en bouwen we daarnaast een nette versie met dezelfde begrippen als de rest.
Zo blijft het origineel bewaard en kun je altijd terugzien waar een waarde vandaan komt.
Een overzicht van alle tabellen in het platform, met een beschrijving, een eigenaar en wie erbij mag. Voor het Concertgebouworkest gebruikten we Unity Catalog. Zonder catalogus blijft alleen de bouwer weten wat waar staat.
Meer over eigenaarschap en afspraken lees je bij data governance.
dbt legt de transformaties vast als code: van ruwe brondata naar nette tabellen, met tests en documentatie erbij. Elke stap is na te lopen en te herhalen, en een wijziging gaat via een vaste route.
Hoe we dbt inrichten, staat bij dbt-implementatie.
Vaak op Databricks in Azure, omdat we daar partner van zijn, maar we kijken eerst wat jullie al gebruiken. Opslag in open formaten zoals Delta Lake en transformaties in dbt houden je onafhankelijk.
De code staat in jullie eigen omgeving, zodat een ander team het kan overnemen.
Ja. Wil je liever iemand die bij jullie in het team meebouwt, lees dan over een data engineer inhuren. Bij een project leveren wij het team en de oplevering.
Wie het platform daarna beheert, spreken we vooraf af.
Dat bepaal je zelf; het platform maakt alle drie mogelijk. Voor rapportage in het Noorden lees je over de Power BI specialist Groningen.
Voor modellen is er ons data science bureau Groningen, en voor toepassingen op taalmodellen ons AI bureau Groningen.
Wat bouw je op het platform: modellen of rapportage in het Noorden?
- Data engineeringHoe we pipelines en platforms bouwen die rapporten en modellen dezelfde data geven.
- Data science bureau GroningenModellen die voorspellen of indelen, voor organisaties in Groningen en Noord-Nederland.
- Power BI specialist GroningenEén Power BI-model voor organisaties met locaties verspreid over het Noorden.