Een effectieve MLOps workflow ontwikkeld binnen het Datalab team
Waternet
MLOps engineer inhuren
MLOps-specialisten in dienst bij Data Science Lab richten in je eigen team de route naar productie in, zoals in het Datalab-team van Waternet.
Voor het Datalab-team van Waternet richtten we als teamlid de MLOps-workflow in, en we onderhouden die
Waternet wil dat de projecten van het Datalab-team echt in gebruik komen. Als lid van dat team richtten we daarvoor de MLOps-workflow in, met Azure DevOps, Bicep, een MLflow model registry en CI/CD-templates voor code en modellen in productie. Die workflow onderhouden we ook.
Wie houdt onze modellen in de gaten als ze eenmaal draaien?
Drie modellen staan live, elk op een andere manier uitgerold door wie het bouwde. Een nieuwe versie gaat met de hand en niemand ziet of de invoer verschuift. Een MLOps engineer legt één route aan met registry, pipeline en bewaking.
Een MLOps engineer bouwt de route die al je modellen delen
Registry en CI/CD
Elke modelversie in een registry en elke wijziging door dezelfde tests, zoals bij Waternet met MLflow en CI/CD-templates in Azure DevOps.
Templates voor volgende modellen
Een vaste werkwijze die het volgende project overneemt, zoals de MLOps-lifecycle met herbruikbare templates die we voor GVB in Databricks opzetten.
Bewaking op drift
Eén aanpak voor drift- en outlierdetectie over alle modellen heen, zoals de generieke monitoring package die we voor Rijkswaterstaat ontwikkelden.
Infrastructuur op eigen servers
Serving, monitoring en onderhoud waar data het huis niet uit mag, zoals bij het LUMC op een on-premise en soevereine infrastructuur.
Een MLOps-kandidaat spreek je over jouw modellen en platform
-
Modellen en route
We bespreken welke modellen draaien, hoe ze nu worden uitgerold en bewaakt, en wie de eigenaar is.
-
Voorstellen en kiezen
We stellen collega's voor die jullie platform kennen. Je spreekt ze vrijblijvend en kiest zelf wie je inhuurt.
-
Inrichten en vastleggen
De engineer bouwt in jullie repository. Pipelines, templates en alertregels blijven achter als het werk klaar is.
Zijn we toe aan een MLOps engineer, of moet er eerst iets anders gebeuren?
Past als
Er draaien al modellen of er komen er meer aan, en elk model gaat nu op zijn eigen manier naar productie. Jullie team wil één route die het zelf kan onderhouden.
Past niet als
Er is nog geen model dat naar productie moet, of je wilt de hele MLOps-straat als opgeleverd project. Dan past eerst een model of een project beter dan extra handen.
Inzet en tarief
Hoeveel uur per week en hoe lang bepaalt de opdracht; een minimum- of maximumduur hanteren we niet. Het tarief volgt uit de expertise die je vraagt, de ervaring en de looptijd.
Geen zzp-constructie
De MLOps engineer is bij Data Science Lab in dienst en wordt bij je gedetacheerd. Selectie, onboarding en opvolging lopen via één aanspreekpunt bij ons.
Een MLOps engineer detacheren, MLOps als project of iemand in vaste dienst?
Detacheren
Kies dit als jullie team eigenaar blijft van de modellen en de route naar productie zelf wil leren beheren. Ons advies als er al meerdere modellen draaien.
Als project
Kies dit als je de route liever laat ontwerpen en opleveren, met de verantwoordelijkheid bij ons, zie MLOps.
Vaste dienst
Kies dit als MLOps structureel werk wordt. Bevalt onze engineer, dan kun je met ons in gesprek over overname in vaste dienst.
Onze MLOps engineers vallen terug op collega’s met modellen in productie
Die collega's werkten bij Waternet, GVB, Rijkswaterstaat en het LUMC aan registry, pipelines en bewaking. Daarnaast zijn er ons interne lab en de Techdays. Data Science Lab bestaat sinds 2016 en is Databricks Partner en Microsoft Partner.
Wat er al draait, is het vertrekpunt van het eerste gesprek
Stef Stoelwinder
Business DevelopmentStef is je eerste aanspreekpunt. In het eerste gesprek bespreken we je modellen, je platform en welk MLOps-profiel daarbij past.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Welke modellen moeten bij ons betrouwbaar blijven draaien?
Vertel welke modellen, welk platform en welk team het zijn. Je krijgt antwoord per mail, of we stellen een eerste gesprek voor.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Een MLOps engineer richt de route in waar elk model doorheen gaat, van experiment tot productie. Hij zet code in Git, legt runs en modelversies vast in een registry, bouwt CI/CD met aparte omgevingen voor ontwikkeling, test en productie, en richt de bewaking en het hertrainen in.
Op onze pagina over detacheren staat de MLOps engineer bij de rollen voor data engineering. Zoek je een MLOps-specialist voor één platform, dan stellen we iemand voor die dat platform kent.
Een machine learning engineer brengt één model naar productie: van notebook naar geteste code, een trainingspipeline en een endpoint. Een MLOps engineer bouwt de gedeelde voorzieningen die alle modellen gebruiken: registry, CI/CD-templates, monitoring en de afspraken over hertrainen.
In kleine teams doet één persoon vaak beide. Moet vooral één model live, lees dan over een machine learning engineer inhuren.
Google beschrijft drie niveaus. Op niveau 0 gaat alles met de hand: de data scientist levert een getraind model aan engineers, nieuwe versies komen zelden en voorspellingen worden niet bijgehouden. Op niveau 1 is de trainingspipeline geautomatiseerd en traint het model opnieuw op nieuwe data. Op niveau 2 test en rolt CI/CD ook de pipeline zelf uit.
Werkt je team op niveau 0 en draait er meer dan één model, dan is de stap naar niveau 1 het werk van een MLOps engineer.
De invoer op data drift, de voorspellingen op prediction drift, de datakwaliteit (lege waarden, verkeerde typen, waarden buiten bereik) en, zodra de werkelijke uitkomsten binnen zijn, de prestaties zelf. Per signaal komt er een drempel die een alert geeft.
Microsoft raadt aan de drempels samen met de data scientist te kiezen die het model kent, om te veel alerts te voorkomen. In Azure Machine Learning kan een alert via Event Grid een hertrainjob starten.
Databricks raadt in de meeste gevallen aan de code te promoten: de trainingscode gaat via test naar productie en traint daar het model, omdat die code is gereviewd en getest. Een getraind model doorzetten past als trainen erg duur of lastig te herhalen is.
In Unity Catalog zet je een alias zoals champion op de versie die live is. Batchjobs en endpoints volgen die alias, en de lineage toont op welke tabellen het model is getraind.
Een freelancer die je zelf contracteert, moet ook in de praktijk zelfstandig werken. Sinds 1 januari 2025 controleert de Belastingdienst daar weer volledig op. Wie in je backlog meedraait en onder jouw leiding werkt, valt daar al snel buiten.
Onze MLOps engineers zijn bij Data Science Lab in dienst en worden bij je gedetacheerd. Hoe dat binnen je eigen inhuurbeleid past, laat je beoordelen door HR, inkoop of een adviseur.
Voor AI-systemen met een hoog risico vraagt de AI-verordening onder meer logging, zodat uitkomsten herleidbaar zijn, menselijk toezicht en robuustheid. Na ingebruikname moet de aanbieder een systeem voor monitoring hebben. Volgens de Europese Commissie gelden die regels voor de meeste hoog-risicotoepassingen vanaf 2 december 2027.
Een MLOps-route met vastgelegde runs, versies en bewaking levert dat bewijs mee. Een jurist of je compliance-afdeling bepaalt of een model onder die regels valt. Meer bij AI-governance.
Draait er nog geen enkel model, dan valt er niets uit te rollen of te bewaken. Begin dan bij data science. Is er één model dat live moet, dan past een machine learning engineer beter. Ligt het probleem bij de data zelf, dan helpt eerst het data fundament.
Wil je de hele route laten opleveren in plaats van extra handen, dan past MLOps als project beter.
Liever de hele route naar productie laten inrichten dan iemand inhuren?
- DetacherenWelke specialisten we nog meer leveren, van data strateeg tot BI-specialist, en hoe we een kandidaat selecteren.
- MLOpsAls je registry, CI/CD en monitoring voor je modellen als project wilt laten inrichten.
- Machine learning engineer inhurenAls vooral één model van notebook naar productie moet, met een engineer in je team.