Uniforme en robuuste MLOps lifecycle om inzicht te krijgen in reisgedrag
GVB
Databricks engineer inhuren
Databricks-specialisten in dienst bij Data Science Lab, die volgens jouw standaarden in je eigen workspace meebouwen, zoals bij GVB.
Bij GVB zetten we in Databricks een MLOps-workflow op met herbruikbare templates
Het segmentatiemodel op reisgedrag moest robuust draaien en voldoen aan de data-architectuurstandaarden van GVB. Daarom richtten we in Databricks een uniforme MLOps-lifecycle in, met Azure DevOps, zodat het model in productie blijft en onderhouden kan worden.
Wie neemt het Databricks-werk over terwijl ons team migreert?
De nachtelijke job draait op een handmatig aangemaakt cluster, de tabellen staan nog in de Hive-metastore en de collega die het opzette is weg. Een Databricks engineer van ons pakt het op in jullie workspace en legt alles vast in Git.
Elke Databricks-rol die we leveren, kennen we uit eigen projecten
Data engineer
Bouwt pipelines met Lakeflow en Spark in Python en SQL, zoals in het dataplatform van Fokker Services Group met de medaillonarchitectuur.
Data platform engineer
Richt workspaces, Unity Catalog, rechten en CI/CD in als code, zoals voor Vivara met Terraform en DevOps op Azure Databricks.
Analytics engineer
Maakt met dbt geteste datamodellen op Delta-tabellen, zoals in het dataplatform met Unity Catalog voor het Koninklijk Concertgebouworkest.
MLOps engineer
Brengt modellen herhaalbaar naar productie met MLflow en jobs, zoals de MLOps-lifecycle die we voor GVB in Databricks opzetten.
Eerst kennismaken, dan pas een Databricks-specialist kiezen
-
Workspace en opdracht
We bespreken je cloud, workspace, de stand van Unity Catalog en de backlog, en stellen passende collega's voor.
-
Kennismaken en kiezen
Je spreekt de kandidaat vrijblijvend en beslist zelf. Past het niet, dan stellen we iemand anders voor.
-
Toegang en start
Rechten via een groep in Unity Catalog regelen we vooraf. Code en ontwerpkeuzes landen in jullie repository.
Hoe werkt inhuur van een Databricks-specialist in de praktijk?
Inzet die de opdracht volgt
Een vaste minimale of maximale inzetduur is er niet. Uren per week, duur en werken op locatie of remote stemmen we af op wat de opdracht vraagt.
Waar het tarief van afhangt
Van de gevraagde expertise, de ervaring en de duur van de inzet. Met uiteenlopende inkooptrajecten hebben we veel ervaring.
In dienst, geen freelancer
Onze Databricks engineers zijn bij Data Science Lab in dienst. Selectie, onboarding en opvolging lopen via één aanspreekpunt. Je eigen inhuurbeleid toets je met HR, inkoop of een adviseur.
Past niet als
Je een compleet nieuw platform wilt laten opleveren, het werk structureel is of de knoop in definities en eigenaarschap zit. Dan past een project, een vaste collega of data governance beter.
Via ons detacheren, een freelancer of het werk als project?
Detacheren via ons
Kies dit als je team eigenaar blijft van het platform en Databricks-capaciteit of kennis mist, bij een migratie, piek of verlof. Ons advies als de kennis moet achterblijven.
Een Databricks freelancer
Kies dit als je zelf kandidaten kunt beoordelen en begeleiden, en de afspraken over zelfstandigheid en de Wet DBA bij jou als opdrachtgever mogen liggen.
Het werk als project
Kies dit als je een opgeleverd platform wilt, met ontwerp en verantwoordelijkheid bij één partij, zoals een Databricks-implementatie.
Onze Databricks engineers werken met een heel team achter zich
Data Science Lab is Databricks Partner met gecertificeerde consultants. Onze engineers vallen terug op collega's, ons interne lab en de Techdays waarop we kennis delen. We werken sinds 2016 met data en AI.
Je workspace en backlog staan centraal in ons eerste gesprek
Stef Stoelwinder
Business DevelopmentStef is je eerste aanspreekpunt. In het eerste gesprek bespreken we je Databricks-omgeving, de opdracht en je team, en welk profiel daarbij past.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Welke Databricks-kennis mist ons team nu?
Vertel welke opdracht en omgeving het is. Je krijgt antwoord per mail, of we plannen een eerste gesprek.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Wat je team op Databricks nodig heeft: bronnen laden met Lakeflow Connect of Spark, pipelines bouwen met Lakeflow, taken plannen in Lakeflow Jobs, rechten en lineage regelen in Unity Catalog of jobs en pipelines als code vastleggen.
De engineer werkt als onderdeel van je team, in jouw backlog. Hoe selectie en inzet werken, lees je bij detacheren. Op onze partnerpagina staat hoe we met Databricks samenwerken.
Een Databricks engineer kent de onderdelen van het platform zelf: Delta Lake, waarin alle tabellen op Databricks standaard worden opgeslagen, Unity Catalog, Lakeflow, serverless compute en SQL warehouses. Dat telt als je al op Databricks draait of ernaartoe migreert.
Gaat het vooral om bronnen ontsluiten en datamodellen, ongeacht het platform, dan past een data engineer met bredere ervaring.
Ja, mits de engineer de rechten van een account-admin krijgt of met jullie admin samenwerkt. Workspaces die na 8 november 2023 zijn aangemaakt, hebben Unity Catalog automatisch. Bij oudere workspaces zet je identiteiten op accountniveau, koppel je de workspace aan een metastore, zet je tabellen over en pas je queries en jobs aan.
Voor grotere migraties biedt Databricks Labs de UCX-tools. Daarna schakel je de oude functies uit, zodat niemand de nieuwe rechten omzeilt.
Door werk op de goedkoopste passende compute te zetten. Geplande pipelines draaien op job compute, die volgens Databricks aanzienlijk minder kost dan all-purpose compute. SQL-werk hoort op een SQL warehouse.
Daarnaast tagt de engineer workspaces en clusters per team of project, vanaf het begin, omdat tags niet met terugwerkende kracht gelden. In de systeemtabel system.billing.usage zie je daarna per tag wat het verbruik is.
Onze Databricks engineers zijn in dienst bij Data Science Lab, dat ze detacheert. Je hebt één aanspreekpunt voor selectie, onboarding en opvolging, en de engineer valt terug op collega's met andere specialismen.
Bij een freelancer beoordeel je de kwaliteit zelf. Sinds 1 januari 2025 handhaaft de Belastingdienst weer op schijnzelfstandigheid, dus de vraag of de opdracht past bij werken als zelfstandige ligt dan bij jou als opdrachtgever.
Een account in je identiteitsomgeving, zoals Microsoft Entra ID, dat op accountniveau in Databricks terechtkomt. Geef rechten via een groep in Unity Catalog en alleen op de catalogi en schema's die het werk vraagt, zodat je ze aan het eind eenvoudig intrekt.
Regel ook toegang tot de repository en de ontwikkelomgeving, en leg vast wie de opdrachtgever is en welke standaarden gelden.
Door jobs en pipelines als code vast te leggen in plaats van ze met de hand in de workspace aan te maken. Met Declarative Automation Bundles, voorheen Databricks Asset Bundles, staan jobs, pipelines en hun instellingen naast de code in jouw repository, met review en CI/CD.
Waar het past, werkt de engineer samen met een interne collega aan dezelfde taken. Kennis overdragen gebeurt wanneer jij dat wilt, niet pas aan het eind van de opdracht.
Als het werk structureel is, kun je beter zelf iemand aannemen. Wil je een opgeleverd platform in plaats van capaciteit, dan past een project beter. Ligt het probleem bij definities of eigenaarschap van data, dan helpt extra engineering weinig en begin je bij data governance.
Wil je eerst aanbieders naast elkaar zetten? Bekijk ons overzicht van Databricks-partners in Nederland.