Azure dataplatform laten inrichten

Een Azure dataplatform is de set Azure-diensten waarin je data samenkomt, wordt verwerkt en beschikbaar komt voor rapportage en AI. Meestal zijn dat Azure Data Lake Storage voor de opslag, Azure Data Factory voor het laden, een rekenlaag zoals Azure Databricks of Microsoft Fabric, en Key Vault en Microsoft Entra ID voor geheimen en toegang.

Hoe je de data in lagen indeelt, lees je bij een data lakehouse laten bouwen. Het platform hoort bij ons data fundament.

Azure Data Factory is de beheerde clouddienst van Microsoft voor ETL, ELT en data-integratie. Pipelines kopiëren data en starten notebooks, opgeslagen procedures of andere stappen, op een schema of na een gebeurtenis.

Staat een bron in je eigen netwerk, zoals een SQL Server op locatie, dan installeer je een self-hosted integration runtime op een server die bij die bron kan. Die is ook nodig voor bronnen met een eigen driver, zoals SAP HANA en MySQL.

Microsoft noemt Data Factory in Microsoft Fabric de volgende generatie van Azure Data Factory en raadt nieuwe teams aan daar te beginnen. Bestaande pipelines kun je overzetten.

Dat is meer dan kopiëren: in Fabric staan datasets in de activiteit zelf, verbindingen kennen geen dynamische eigenschappen en Mapping Data Flows kunnen naar Dataflow Gen2, waar die functie nog in preview is. Draait je Data Factory goed en kies je voor Databricks als rekenlaag, dan is er geen reden om haast te maken.

Begin bij je team en je rapportage. Werkt het team in Python en Spark en moeten modellen in productie, dan past Azure Databricks. Is Power BI de standaard en wil je weinig infrastructuur beheren, dan past Fabric.

Voor dedicated SQL pools in Synapse heeft Microsoft een migratieassistent naar het Fabric-warehouse, en Microsoft adviseert oud en nieuw een tijd naast elkaar te draaien. De twee sluiten elkaar niet uit: Fabric kan de Unity Catalog van Azure Databricks spiegelen, zodat Power BI die tabellen leest.

Azure Data Lake Storage is geen aparte dienst, maar een set mogelijkheden van een gewoon storage account. Je zet ze aan met de instelling hiërarchische naamruimte. Dan staan bestanden in echte mappen en geef je rechten met Azure RBAC en met ACL's op map- of bestandsniveau.

De data is versleuteld met sleutels van Microsoft of met je eigen sleutels. Fabric kan met een shortcut naar zo'n storage account lezen zonder de data te kopiëren.

Wachtwoorden en sleutels staan in Azure Key Vault, en Data Factory haalt ze op met zijn managed identity. Ook Unity Catalog in Azure Databricks kan met een managed identity bij de opslag, zodat er geen geheimen zijn om te vernieuwen.

Voor het netwerk gebruik je Private Link. In Data Factory werkt dat via een managed virtual network met managed private endpoints, wat beschermt tegen het weglekken van data. Databricks kan in je eigen virtuele netwerk draaien, met Private Link voor gebruikers en compute.

Microsoft beschrijft voor Data Factory een vaste route. Ontwikkelaars werken in een ontwikkelfactory die aan Git is gekoppeld, elk in een eigen branch. Na een goedgekeurde pull request gaat de wijziging via Azure Pipelines naar test en daarna naar productie, met Resource Manager-templates per omgeving.

De Azure-resources zelf leggen we vast in Terraform, zoals in het dataplatform van Vivara. Na livegang kunnen we het platform beheren via beheer en doorontwikkeling.

Als je uit een paar bronnen rapporteert en niemand de Azure-resources wil beheren. Dan is Microsoft Fabric als SaaS-dienst eenvoudiger, of volstaat een goed Power BI-dashboard op de bron.

Een rommelige bron los je met een nieuw platform ook niet op; daar begin je bij afspraken over de invoer. Past een lichtere oplossing, dan zeggen we dat. Wil je eerst aanbieders vergelijken, bekijk dan ons overzicht van dataplatformbureaus.