Je ERP-, CRM- en financiële data op één plek, met historie en één afgesproken definitie per KPI.
Vertrouwd door toonaangevende organisaties
Een datawarehouse is een centrale database waarin je data uit ERP, CRM, webshop en planning samenbrengt, opschoont en zo inricht dat je er betrouwbaar op kunt rapporteren, ook over het verleden. Een datawarehouse laten bouwen loont als rapportages te veel handwerk kosten of afdelingen met verschillende cijfers komen. Data Science Lab bouwt het, van de eerste koppeling tot het beheer.
Elke eerste werkdag van de maand exporteert de controller de omzet uit het ERP, zet die in Excel naast een CRM-export en past met de hand de klantnummers aan die in beide systemen verschillen. Sales rapporteert ondertussen rechtstreeks uit het CRM. In het MT-overleg liggen twee omzetcijfers op tafel, en niemand weet welke rekenregel klopt of wie daarover beslist.
Daar komt historie bij. Verhuist een klant naar een andere regio, dan overschrijft het CRM de oude waarde. Vraag je daarna de omzet per regio over vorig jaar op, dan rekent de rapportage alsof die klant er altijd al zat.
Een datawarehouse haalt de bronnen automatisch op, legt de koppeling tussen klantnummers één keer vast en houdt wijzigingen bij in plaats van ze te overschrijven. Het dashboardcijfer komt dan uit één model, met één rekenregel en een eigenaar.
Een beproefde aanpak is dimensioneel modelleren volgens Ralph Kimball: feitentabellen met gebeurtenissen zoals orders en facturen, en dimensies zoals klant, product en datum. Eerst leggen we de korrel vast, het detailniveau van één rij. Zo blijven rapportages snel en begrijpelijk.
We laden de brondata eerst ongewijzigd in en transformeren daarna in het platform zelf, vaak met dbt. Elke rekenregel staat zo als code in versiebeheer, met tests op bijvoorbeeld unieke sleutels, lege velden en geldige waarden.
Met slowly changing dimensions, dimensies die wijzigingen bijhouden, bewaar je hoe een klant of product er op elk moment uitzag. Bij type 2 levert een wijziging een nieuwe versie met geldigheidsperiode op, zodat de omzet van vorig jaar bij de oude regio blijft.
Wat telt als omzet, actieve klant of tijdige levering, leggen we één keer vast in een gedeeld semantisch model, zoals een Power BI-model of metric views in Databricks. Alle Power BI-dashboards rekenen daarna met dezelfde formule.
Elke bron en elke KPI krijgt een eigenaar die weet wat de velden betekenen en wie fouten oplost. Controles in de laadstraat vangen lege of afwijkende waarden af voordat ze in een rapport belanden. Die afspraken horen bij data governance.
ERP, CRM, webshop, HR- en planningssystemen koppelen we via API's, databaseverbindingen of geautomatiseerde exports. Hoe klantnummers en artikelcodes uit verschillende systemen bij elkaar horen, leggen we centraal vast in plaats van in elke rapportage opnieuw.
Vertel welke bronnen je hebt. We denken mee over het eerste onderwerp voor je datawarehouse.
We beginnen bij de rapportages en beslissingen die het datawarehouse moet ondersteunen, en leggen per KPI vast wat hij betekent en wie eigenaar is.
We bekijken welke systemen de data leveren, hoe je erbij komt, hoe vaak het ververst moet worden en waar de kwaliteit tekortschiet.
Warehouse of lakehouse, cloud of eigen server: we kiezen wat past bij je data, je team en je bestaande IT-landschap.
We bouwen één afgebakend onderwerp, zoals verkoop of voorraad, van bron tot dashboard. Gebruikers toetsen de cijfers aan wat ze uit de praktijk kennen.
Daarna volgt het volgende proces. Dimensies als klant, product en datum hergebruiken we, zodat nieuwe onderwerpen aansluiten op wat er al staat.
We bewaken de laadprocessen en passen het model aan als bronnen of definities veranderen. Dat beheer kunnen we ook voor je blijven doen.
DSL heeft ons geholpen met het opzetten van ons allereerste datawarehouse. Zij hebben ons bij de hand genomen en ons stap voor stap begeleidt en samen met ons inzichtelijk gemaakt welke informatie wij nodig hebben om betere beslissingen te maken. Dit heeft de afgelopen periode hele belangrijke inzichten opgeleverd en verhoging van onze winst. Wat ons betreft een fantastische partner en een aanrader voor andere MKB ondernemingen.
Een datawarehouse bewaart gestructureerde, gecontroleerde data in tabellen die zijn ingericht voor rapportage. Een data lake bewaart data van elk type in ruwe vorm: goedkoop en flexibel, maar niet gevalideerd en daardoor minder geschikt voor stuurinformatie. Een lakehouse combineert beide in één open opslagformaat, met lagen van ruw (brons) via opgeschoond (zilver) naar bedrijfsklaar (goud). Databricks en Microsoft Fabric noemen dat de medaillonarchitectuur; het dimensionele model van je datawarehouse kan dan de gouden laag vormen.
Werk je vooral met gestructureerde gegevens uit ERP en CRM en schrijft je team SQL, dan volstaat een warehouse vaak. Komen er sensordata, documenten of machine learning bij, dan ligt een lakehouse meer voor de hand. Voor Vivara bouwden we een dataplatform op Azure Databricks dat dagelijks data uit onder meer SAP, Magento en SharePoint ophaalt.
Het hoeft ook niet per se in de cloud: voor Zuiver bouwden we een datawarehouse op een eigen server, waar de verschillende bronnen samenkomen. Hoe het datawarehouse in een bredere dataomgeving past, lees je bij data fundament.
Iedere organisatie kan een AI-pilot starten. De uitdaging zit in de stap daarna. AI onderdeel maken van de organisatie. Dat is waar Data Science Lab het verschil maakt.
Lees meer over ons
10+
8,7
200+
Een datawarehouse is een database die is ingericht om te analyseren en te rapporteren, los van de systemen waarin het werk gebeurt. Het brengt gegevens uit ERP, CRM en andere bronnen samen, schoont ze op en bewaart de historie, zodat je over afdelingen en jaren heen kunt vergelijken met dezelfde definities.
In principe elk systeem waar je data uit kunt halen: ERP-pakketten zoals SAP, CRM, webshops, HR- en planningssystemen, Excel-bestanden en SharePoint. Voor het Koninklijk Concertgebouworkest koppelen en standaardiseren we informatie uit verschillende systemen en archieven in één dataplatform. Het lastigste deel is zelden de koppeling zelf, maar de afspraak welke bron leidend is.
dbt (data build tool) is een hulpmiddel waarmee je transformaties in SQL schrijft, test en documenteert. Elke stap van brondata naar KPI staat zo als code in versiebeheer, en een wijziging in een rekenregel is terug te vinden. Bij Fokker Services Group modelleren we met dbt en Databricks data uit verschillende bronnen volgens de medaillonarchitectuur, met ingebouwde datakwaliteitscontroles.
Met slowly changing dimensions. Bij type 1 overschrijf je een waarde, zoals een gecorrigeerd e-mailadres. Bij type 2 maak je een nieuwe versie met begin- en einddatum, bijvoorbeeld als een klant van regio wisselt. In dbt doe je dat met snapshots. Veel bronsystemen bewaren zelf geen wijzigingen, dus leg ze vast vanaf de start: wat de bron al heeft overschreven, krijg je vaak niet meer terug.
Allebei. Als Databricks Partner en Microsoft Partner bouwen we data- en AI-platformen op Databricks en Microsoft Fabric. Fabric is een SaaS-dienst; Databricks draait bij een cloudaanbieder zoals Azure. Bij beide staat de data in het open Delta-formaat, dus je zit niet vast aan één leverancier. Doorslaggevend is waar de data moet staan, wie het beheert en welke kennis je in huis hebt.
Meestal wel, al verhuizen de rekenregels naar het centrale model. We beginnen met een inventarisatie van wat er staat: welke tabellen, welke rekenregels in rapporten en welke daarvan echt worden gebruikt. Rekenregels die nu verspreid in losse rapporten zitten, verhuizen naar het centrale model. Bestaande rapporten zetten we daarna een voor een over, zodat gebruikers niet in één keer hoeven te wisselen.
Als je rapporteert uit één systeem met goede eigen rapportages, of als het om een handvol overzichten gaat die zelden veranderen. Dan volstaat vaak een Power BI-model rechtstreeks op de bron. Ook een rommelige bron los je met een datawarehouse niet op: dan begin je met opschonen en afspraken over de invoer. Is een lichtere oplossing genoeg, dan zeggen we dat eerlijk.
E-mail info@datasciencelab.nl
Telefoon +31 (0)20 3636 724
Vertel ons welke bronnen je hebt en welke cijfers nu discussie opleveren. We denken mee over het eerste onderwerp en de architectuur die daarbij past.
Bericht verstuurd
Bedankt voor je bericht. We nemen zo snel mogelijk contact met je op.
