Snowflake implementatie

Je richt het account zo in dat meerdere teams er veilig en betaalbaar op kunnen werken: een cloudregio, databases en schema's per laag, een rollenhiërarchie, virtual warehouses per taak, laadroutes voor de bronnen, transformaties in dbt en bewaking van het creditverbruik.

We doen dat als onderdeel van het data- en AI-platform, zodat rapportage en modellen op dezelfde data lezen.

Hij ontwerpt de rollen, de warehouses en de laadroutes, en zet de transformaties en de kostenbewaking op. Snowflake raadt zelf een hiërarchie van eigen rollen aan, en adviseert om rechten voor accountbeheer niet te mengen met rechten op data in dezelfde rol.

ACCOUNTADMIN is de hoogste rol en hoort volgens Snowflake bij een beperkt aantal gebruikers. Een rol die alle rechtencontroles omzeilt, bestaat niet.

Snowflake draait op Amazon Web Services, Google Cloud en Microsoft Azure. Je kiest een regio, bijvoorbeeld Azure West Europe of Google Cloud europe-west4, die allebei in Nederland staan.

Voor queries en het laden van data heb je een virtual warehouse nodig: rekenkracht die je los aanzet. De grootte bepaalt hoeveel rekenkracht er per cluster is, en elke stap groter verdubbelt het creditverbruik per uur.

Snowflake rekent warehouses per seconde af, met een minimum van een minuut bij elke start. Met auto-suspend gaat een warehouse uit als hij een tijd niets doet; auto-resume zet hem weer aan bij de volgende query.

Een resource monitor bewaakt een creditquotum en kan waarschuwen of warehouses stilzetten. Alleen ACCOUNTADMIN maakt monitors aan, en voor serverless functies werk je met een budget.

Snowflake bewaart de tabellen, dbt transformeert ze in modellen met tests. In onze churnanalyse beschrijven we die combinatie: modellen die kolommen selecteren, berekeningen doen en een samengestelde dataset opleveren.

Let op: dbt maakt tabellen in Snowflake standaard transient, zonder Fail-safe. Per model kun je een eigen warehouse kiezen. Lees ook over dbt implementatie.

In batches met COPY INTO vanuit een stage, op een warehouse dat je zelf kiest en afrekent per draaitijd. Of doorlopend met Snowpipe: die laadt bestanden zodra ze in een stage aankomen, met rekenkracht van Snowflake en afgerekend per hoeveelheid geladen data.

Voor bronnen als een ERP of CRM zet je er meestal een laadtool of pipeline voor, die de bestanden of tabellen aanlevert.

Met Time Travel kun je data van eerder terughalen. Standaard is dat een dag; voor permanente objecten kun je dat verlengen, behalve in de Standard Edition. Een verwijderde tabel zet je terug met UNDROP. Daarna gaat de data naar Fail-safe en kun je dat niet meer zelf.

Met een zero-copy clone maak je een testomgeving die pas opslag kost als je erin wijzigt.

Nee. Volgens onze partnerpagina zijn we Databricks Partner en Microsoft Partner. We werken met Snowflake waar het bij een organisatie past of al staat, zoals bij Athlon.

Twijfel je tussen platformen, dan zetten we de verschillen eerlijk naast elkaar. Lees ook over Databricks implementatie; de keuze maak je zelf.