Ga naar de inhoud
NL
Contact

Azure Synapse: beheren, verbeteren of overstappen

We brengen je Synapse-omgeving op orde en bereiden een overstap voor, met de Azure-ervaring van het dataplatform voor Fokker Services Group.

Bespreek je Synapse-omgeving Lees de case van Fokker Services Group

Eén veilig en betrouwbaar dataplatform voor Fokker Services Group, gebouwd op Azure en Databricks

Bij Fokker Services Group brengen we data uit veel bronnen samen, opgeschoond en gemodelleerd volgens de medaillonarchitectuur, met Databricks, Azure, dbt en SQL. Datakwaliteitscontroles zitten in de datastromen. Een Synapse-case hebben we niet; deze case laat zien hoe we op Azure bouwen.

Lees de case

Wat betekent Fabric voor onze Synapse-omgeving, nu Microsoft nieuwe datawarehouses daarheen verwijst?

Je dedicated SQL pool draait al jaren, de pipelines zijn gegroeid en de kosten lopen op. Microsoft raadt Fabric aan wie nieuw begint, en beschrijft hoe bestaande Synapse-omgevingen kunnen overstappen. Eerst stabiliseren en meten maakt die keuze overzichtelijk.

Plan een gesprek

Een Synapse-omgeving verbeteren gaat over SQL pools, pipelines, Spark en de rekening

Bespreek je Synapse-omgeving

Dedicated SQL pool op orde

Distributiekolommen zonder scheefheid en joins die geen onnodige data verplaatsen. Waar het kan, pauzeer je de pool als niemand hem gebruikt.

Serverless SQL bewust gebruiken

Serverless SQL rekent af per hoeveelheid data die een query verwerkt, niet per gereserveerde capaciteit. Weten welke queries veel lezen, scheelt dus direct.

Pipelines en Spark-notebooks

Pipelines met vaste volgorde, meldingen bij fouten en herstartpunten, en notebooks die je kunt testen. Bij Fokker Services Group zitten kwaliteitscontroles in de datastromen.

Een overstap die je kunt toetsen

Een inventaris van pools, notebooks, pipelines en rechten, en een plan waarin oud en nieuw naast elkaar draaien tot de uitkomsten kloppen.

Eerst meten wat er draait, daarna pas verbeteren of verhuizen

  1. Omgeving doorlichten

    Welke pools, pipelines en notebooks draaien, wie de data gebruikt, wat het kost en waar het hapert.

  2. Stabiliseren en verbeteren

    Distributies, laadroutes en pipelines rechtzetten, pauzeren waar het kan en bewaking op kosten en fouten.

  3. Route kiezen en voorbereiden

    Blijven, naar Fabric of naar Databricks, met een inventaris en een plan om parallel te draaien.

Van Synapse af, of eerst zorgen dat het goed draait?

Toets het in een gesprek

Past als

Je draait al op Azure Synapse, met dedicated of serverless SQL pools, pipelines of Spark, en je wilt dat het stabieler en zuiniger loopt of een overstap zorgvuldig voorbereiden.

Past niet als

Je begint helemaal nieuw op Azure en hebt nog geen Synapse-omgeving. Dan begin je bij de keuze voor een platform, niet bij het verbeteren van een bestaand platform.

Waar de omvang van afhangt

Het aantal SQL pools, pipelines en notebooks, hoeveel rapporten en toepassingen erop lezen, hoeveel T-SQL herschreven moet worden en wie het beheer daarna doet.

Moeten we nu meteen overstappen?

In de documentatie op Microsoft Learn vonden we geen einddatum voor Synapse. Microsoft beschrijft Fabric als upgrade voor bestaande workloads. Overstappen is dus een afweging, geen deadline.

Synapse houden, naar Fabric of naar Databricks: welke route past bij jullie?

Synapse houden en verbeteren

Kies dit als de omgeving past bij het gebruik en er weinig nieuwe wensen zijn. Ons advies: verbeter eerst distributies, pipelines en kosten, dan weet je wat overstappen oplevert.

Naar Fabric

Kies dit als Power BI en Microsoft 365 jullie standaard zijn en de SQL pool naar een warehouse in Fabric kan. Lees over Microsoft Fabric implementatie.

Naar Databricks

Kies dit als Spark, Python en machine learning de kern zijn en je data in open formaat in je eigen cloud wilt. Lees over Databricks implementatie.

We zijn Microsoft Partner én Databricks Partner, en vergelijken de routes zonder vooraf te kiezen

Data Science Lab werkt sinds 2016 met data en AI en bouwt dataplatforms op Microsoft Fabric en Databricks, zoals voor Fokker Services Group op Azure. Welke route past, bepalen jullie data en jullie team.

Plan een kennismaking

Je pools, pipelines en kosten zijn het vertrekpunt van het eerste gesprek

Stef Stoelwinder

Stef Stoelwinder

Business Development

Stef is je eerste aanspreekpunt. In het eerste gesprek bespreken we je Synapse-omgeving, de kosten en de knelpunten, en welke route logisch is.

E-mail info@datasciencelab.nl

Telefoon +31 (0)20 3636 724

Wat loopt er nu vast in jullie Synapse-omgeving?

Vertel welke onderdelen van Synapse je gebruikt en wat er knelt. Je krijgt antwoord per mail, of we plannen een eerste gesprek.

E-mailinfo@datasciencelab.nl Telefoon+31 (0)20 3636 724

Vul een geldig e-mailadres in.

Laat ons weten waar we je mee kunnen helpen.

Veelgestelde vragen

Meestal niet. Op Microsoft Learn staat de tip dat wie nieuw begint met datawarehousing beter met Fabric Data Warehouse kan starten. Begin je nieuw, lees dan over een Azure dataplatform inrichten.

Deze pagina gaat over bestaande Synapse-omgevingen: beheren, verbeteren en een overstap voorbereiden, als onderdeel van het data- en AI-platform.

Hij kijkt naar alle onderdelen van de workspace: dedicated SQL pools, serverless SQL, pipelines en Spark-pools met notebooks. Hij zoekt waar queries traag zijn, waar de kosten vandaan komen en welke pipelines vaak falen.

Daarna verbetert hij het tabelontwerp en de laadroutes, zet hij bewaking op en schrijft hij op wat er bij een overstap moet gebeuren.

Vaak door het tabelontwerp. Een tabel in een dedicated SQL pool is verdeeld over zestig distributies. Bij hash-distributie bepaalt een kolom waar een rij komt; staat veel data op een paar distributies, dan wacht de query op de traagste.

Microsoft raadt een kolom met veel unieke waarden en weinig NULL's aan, en geen datumkolom. Een distributiekolom wijzig je niet: je bouwt de tabel opnieuw met CREATE TABLE AS SELECT.

Bij een dedicated SQL pool betaal je rekenkracht en opslag apart. Pauzeer je de pool, dan betaal je geen rekenkracht meer, wel opslag. Gebruik je de pool niet overal, dan kun je hem dus buiten gebruikstijd stilzetten.

Serverless SQL kent geen gereserveerde capaciteit: je betaalt voor de data die je queries verwerken. Zware, herhaalde queries op de lake zijn daar de eerste plek om te kijken.

Voor dedicated SQL pools heeft Microsoft de Fabric Migration Assistant. Die neemt het schema over via een DACPAC-bestand of een directe verbinding, en helpt objecten herstellen die niet automatisch overgaan. De data kopieer je met een copy job, daarna test en vergelijk je oud en nieuw.

Volgens Microsoft is de T-SQL niet volledig gelijk. SQL-gebruikers vervang je door Microsoft Entra-gebruikers.

Microsoft noemt de overstap van Synapse Spark naar Fabric meestal kopiëren en aanpassen, geen verhuizing op de plek zelf. Er is een Spark Migration Assistant voor notebooks, Spark-jobs en pools, maar code met Synapse-specifieke functies en koppelingen pas je zelf aan.

Ook de metadata uit de Hive Metastore, de datatoegang en de rechten horen bij de overstap. Daarna valideer je of alles hetzelfde doet.

Ja. Dat ligt voor de hand als je team vooral met Spark en Python werkt, of als machine learning op dezelfde data moet draaien. Dan zet je notebooks en laadroutes over naar Databricks en richt je de opslag en rechten opnieuw in.

We zijn Databricks Partner en Microsoft Partner en vergelijken beide routes. Lees ook over Databricks implementatie.

In de documentatie op Microsoft Learn vonden we geen einddatum. Wel staat op de Synapse-pagina's de tip dat wie nieuw begint met datawarehousing met Fabric Data Warehouse kan starten, en dat bestaande dedicated SQL pool-workloads naar Fabric kunnen upgraden.

We raden aan om die keuze te maken op basis van je eigen omgeving, niet op basis van geruchten. Lees ook over Microsoft Fabric implementatie.

Na Synapse: op welk platform komt jullie data te staan?

Bekijk alle diensten