Inzicht en schaalbaar groeien door een datawarehouse op eigen server
Zuiver
Data engineering bureau Den Haag
We bouwen pipelines en een datawarehouse in je eigen omgeving, met vaste controles en documentatie, zoals het datawarehouse op eigen server voor Zuiver.
Een datawarehouse op eigen server voor Zuiver, waar verschillende bronnen samenkomen
“DSL heeft ons geholpen met het opzetten van ons allereerste datawarehouse. Zij hebben ons bij de hand genomen […] en samen met ons inzichtelijk gemaakt welke informatie wij nodig hebben om betere beslissingen te maken.” Richard Aznar Webster, CEO Zuiver Interior Group. Zuiver is geen Haagse klant; de case laat zien hoe we bouwen.
Hoe blijft onze data in eigen beheer en toch elke dag actueel?
Bij gemeenten, ministeries, zorginstellingen en logistieke bedrijven in Haaglanden moet data vaak in de eigen omgeving blijven. Tegelijk willen teams dagelijks verse cijfers. Data engineering verbindt die twee: laadroutes die vanzelf draaien, in een omgeving die je zelf beheert.
Pipelines, een datawarehouse en rechten die in je eigen omgeving blijven
Bronnen via API of export
Laadroutes uit registraties, zaak- en ERP-systemen via hun API of een vaste export, elke dag, met een melding als er iets niet aankomt.
Op eigen server of in eigen cloud
Een datawarehouse waar je bronnen samenkomen, op eigen servers of in je eigen cloudomgeving. Voor Zuiver bouwden we er een op eigen server.
Rechten en logging
Per rol vastgelegd wie welke tabel mag lezen, met logging van wie wat opvraagt. Persoonsgegevens alleen waar het doel ze nodig heeft.
Documentatie en overdracht
Laadroutes als code, met een beschrijving van bronnen en definities, zodat je eigen team of een opvolger het kan overnemen.
Beveiligingseisen en eigenaarschap komen vóór de eerste bron
-
Eisen en bronnen
Welke bronnen, welke eisen aan beveiliging en opslag, en wie eigenaar is van welke gegevens.
-
Eén bron helemaal
De eerste bron van laadroute tot rapportagetabel, met controles, rechten en documentatie.
-
Uitbreiden en beheren
Volgende bronnen aansluiten, bewaking op de laadroutes en beheer door je eigen team of door ons.
Echt een eigen omgeving voor onze data, of kan het ook anders?
Past als
Je organisatie in de regio Den Haag heeft meerdere bronnen, wil dagelijkse cijfers voor rapportage of analyse, en stelt eisen aan waar data staat en wie erbij kan.
Past niet als
Je hebt één bronsysteem met goede standaardrapporten. Of je zoekt vooral een tijdelijke data engineer in je eigen team; dan past detachering beter dan een project.
Waar de omvang van afhangt
Het aantal bronnen en hoe ze aanleveren, de eisen aan beveiliging en opslag, of er al een datawarehouse staat en wie het beheer daarna doet.
Past dit bij de BIO?
Overheidsorganisaties werken met de Baseline Informatiebeveiliging Overheid. We richten rechten, logging en opslag zo in dat je ze aan jullie eigen BIO-maatregelen kunt toetsen. Die toets doet jullie securityverantwoordelijke.
Eigen server, eigen cloudomgeving of een breder dataplatform: waar komt jullie datawarehouse te staan?
Eigen server
Kies dit als beleid of contracten voorschrijven dat data in je eigen rekencentrum blijft. Je beheert dan zelf ook de hardware en de updates.
Eigen cloudomgeving
Kies dit als je organisatie al in Azure werkt. Ons advies: richt opslag, netwerk en rechten in als code, dan kun je de omgeving controleren en opnieuw opbouwen.
Een breder dataplatform
Kies dit als er naast rapportage ook modellen op dezelfde data komen. Lees dan over een data lakehouse.
Ook rond Den Haag bouwen we datalagen, vanuit ons kantoor in Amsterdam
Data Science Lab werkt sinds 2016 met data en AI. We zijn Databricks Partner en Microsoft Partner, bouwden het datawarehouse van Zuiver en werkten voor publieke organisaties zoals Rijkswaterstaat en Waternet.
Je bronnen en je eisen aan beveiliging zijn de agenda van het eerste gesprek
Stef Stoelwinder
Business DevelopmentStef is je eerste aanspreekpunt. In het eerste gesprek bespreken we je bronnen, de eisen aan opslag en beveiliging, en de eerste stap.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Uit welk systeem moeten bij jullie de eerste gegevens komen?
Vertel welke bronnen je hebt en welke eisen er gelden. Je krijgt antwoord per mail, of we plannen een eerste gesprek.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
Veelgestelde vragen
Het bouwt de laag onder je rapportages en analyses: laadroutes uit je bronnen, een datawarehouse of dataplatform, controles en rechten. In Haaglanden gaat het vaak om overheid, zorg en logistiek, waar eisen aan opslag en toegang zwaar wegen.
Zoek je een data engineer of een dataplatform in Den Haag: wij leveren een team dat het geheel bouwt en overdraagt. Meer over de dienst lees je op data engineering.
Ja. Voor Zuiver bouwden we een datawarehouse op eigen server. Je kunt ook kiezen voor een eigen cloudomgeving, waarin jullie zelf bepalen waar de data staat en wie erbij kan.
Welke route mag, volgt uit jullie beleid en contracten. Die keuze maken jullie; wij laten zien wat elke route vraagt aan beheer en beveiliging.
De Baseline Informatiebeveiliging Overheid is het basisnormenkader voor informatiebeveiliging bij Rijk, gemeenten, provincies en waterschappen. Volgens Digitale Overheid is de BIO2 sinds de Cyberbeveiligingswet wettelijk verplicht voor overheidsorganisaties die onder die wet vallen.
Wij richten rechten, logging, versleuteling en beheer zo in dat jullie ze tegen de eigen maatregelen kunnen toetsen. De beoordeling zelf doet jullie securityverantwoordelijke.
Met controles na elke run: komt er data aan, is het aantal rijen plausibel, zijn de kolommen nog dezelfde en is de data vers genoeg. Gaat een controle mis, dan krijgt de beheerder een melding voordat iemand een verouderd rapport opent.
Zo merk je een gewijzigde export of een uitgevallen koppeling dezelfde dag, en niet pas bij de maandcijfers.
We nemen alleen de velden op die voor het doel nodig zijn, scheiden direct herleidbare gegevens van de rest waar dat kan, en geven toegang per rol. Wie wat opvraagt, wordt gelogd.
Of een verwerking mag, beoordeelt jullie functionaris gegevensbescherming. Wij zorgen dat de technische inrichting past bij wat jullie hebben afgesproken.
Ja. Daar draait het vaker om sensordata, ERP en planning dan om beveiligingseisen van de overheid. Die invalshoek staat op onze pagina over het data engineering bureau Rotterdam.
De werkwijze is dezelfde: eerst één bron volledig, met controles en documentatie, daarna de rest.
Voor modellen op je data: data science bureau Den Haag. Voor AI die in beheer blijft: AI bureau Den Haag. Voor rapporten: Power BI specialist Den Haag.
Wil je eerst advies over waar data en AI het meest opleveren, lees dan over onze AI consultant Den Haag.
Als je één bronsysteem hebt met rapporten die volstaan, of als de vragen zo zelden komen dat een handmatige export genoeg is. Een datawarehouse moet je ook beheren.
Twijfel je, dan kijken we samen naar je bronnen en vragen. Lees ook over een datawarehouse laten bouwen.