Consultora de data engineering em Tilburg
Criamos pipelines de dados que seguem um percurso definido dos testes até à produção. Foi assim que automatizámos o processo de release para a SNG.
Para a SNG, automatizámos o processo de release ao longo da cadeia de ambientes DTAP no Google Cloud Platform
A equipa DevOps da SNG tem menos passos manuais a executar, e cada release segue o mesmo processo controlado com Terraform e Kubernetes. Aplicamos também esta abordagem às pipelines de dados.
Porque é que o dashboard deixa de apresentar dados corretos quando os dados mudam?
Uma nova coluna na fonte, uma correção rápida em produção ou uma etapa de carregamento que falha silenciosamente. Sem um processo definido e verificações, o utilizador é o primeiro a dar por isso. Com uma configuração adequada, deteta o problema mais cedo.
Cada alteração testada, implementada e passível de reversão
Um processo de lançamento consistente
Desenvolvimento, testes, aceitação e produção em ambientes separados, como fizemos ao configurar o processo de lançamento para SNG.
Infraestrutura como código
Armazenamento, capacidade de processamento e permissões definidos em Terraform ou numa ferramenta semelhante, para poder reconstruir um ambiente.
Verificações em cada etapa de carregamento
Testes às contagens de registos, aos campos vazios e às chaves, com um alerta se uma etapa de carregamento falhar ou estiver atrasada.
Validação antes da publicação
Para Zorginstituut Nederland, desenvolvemos uma pipeline de validação e publicação em GitLab para lançamentos controlados de produtos KIK-V.
Integramos primeiro no fluxo de deployment a pipeline que falha mais vezes
-
Levantamento
Que fontes, etapas de carregamento e ambientes existem, quem os gere e onde surgem atualmente os problemas.
-
Uma pipeline no fluxo de deployment
Controlo de versões, testes e deployment automático para a etapa de carregamento com mais falhas.
-
Expandir e passar à equipa
Seguem-se as restantes pipelines, com documentação e monitorização para a sua equipa.
Uma pipeline de lançamentos de dados faz sentido para uma equipa pequena?
Faz sentido se
Várias pessoas trabalham nas mesmas pipelines, há relatórios ou modelos que dependem delas e investigar um erro em produção demora agora uma manhã inteira.
Não faz sentido se
Uma só pessoa gere uma única fonte de dados e um único relatório, e as alterações são raras. Nesse caso, basta uma cópia de segurança simples com documentação.
O que determina a dimensão
O número de fontes e etapas de carregamento, a plataforma que utiliza, se já existe controlo de versões e quem fará a gestão depois.
Ficamos dependentes da Data Science Lab?
Não. Tudo fica documentado, no seu próprio sistema de controlo de versões e ambiente cloud, para que a sua equipa ou outra empresa de consultoria possa dar continuidade ao trabalho.
Colocação manual em produção, um script por pipeline ou um único processo para tudo?
Colocação manual em produção
Escolha esta opção se houver poucas alterações e uma só pessoa conhecer todo o processo. O risco é que o conhecimento e os erros fiquem concentrados nessa pessoa.
Um script por pipeline
Escolha esta opção se tiver algumas etapas de carregamento que funcionam de forma independente. Cada script terá então a sua própria forma de testar e colocar em produção.
Um único processo para tudo
Escolha esta opção se mais pessoas trabalharem com os mesmos dados. O nosso conselho: comece pelo controlo de versões e pelos testes da etapa de carregamento mais importante.
Criámos processos de release e pipelines para organizações públicas
A Data Science Lab trabalha a partir da Westerdoksdijk, em Amesterdão, também para organizações muito além da cidade. Automatizámos releases e publicações para a SNG e o Zorginstituut Nederland. Somos Microsoft Partner e Databricks Partner.

A etapa de carregamento que corrige com mais frequência é o início da primeira conversa
Stef Stoelwinder
Business DevelopmentStef é o seu ponto de contacto. Na primeira conversa, falamos das suas fontes, dos seus pipelines e dos pontos em que estão a falhar neste momento.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Que pipeline pretende tornar fiável primeiro?
Indique-nos que fontes e plataforma a sua equipa utiliza. Respondemos por e-mail ou agendamos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Constrói e gere as pipelines que extraem dados das suas fontes, os limpam e os preparam para relatórios e modelos. Também garante que essas pipelines continuam a funcionar de forma fiável.
Saiba como o fazemos em data engineering.
Consiste em ambientes separados para desenvolvimento, testes, aceitação e produção. Uma alteração só passa para produção depois de funcionar corretamente nos outros ambientes.
No caso dos dados, isto também implica ter um conjunto de dados de teste semelhante aos dados reais, sem expor informações sensíveis.
Teste o número de linhas, os campos obrigatórios, as chaves únicas e os valores dentro de um intervalo esperado. Verifique também se o carregamento de dados terminou a tempo.
Com o dbt, definimos estes testes juntamente com os modelos.
Trabalhamos com Azure, Databricks, Microsoft Fabric e Google Cloud, além de ferramentas como Terraform, GitLab e dbt. Para a SNG, trabalhámos no Google Cloud Platform com Terraform e Kubernetes.
Escolhemos o que melhor se adapta ao seu ambiente atual.
A Data Science Lab trabalha a partir de Amesterdão. Deslocamo-nos até si no início do projeto e em momentos importantes; no restante tempo, trabalhamos à distância com a sua equipa.
Grande parte do trabalho decorre no seu próprio ambiente, pelo que esta forma de trabalhar funciona bem.
Sim. Se preferir que alguém trabalhe durante algum tempo lado a lado com a sua equipa, saiba mais sobre contratar um data engineer.
Essa pessoa configura os ambientes DTAP em conjunto com a sua equipa.
Nesse caso, construímos primeiro a fundação de dados, incluindo logo a estrutura DTAP. É mais fácil do que acrescentá-la mais tarde. Se a sua prioridade forem os relatórios, conheça o nosso Power BI specialist para Tilburg.
Para criar modelos com esses dados, pode contar com a nossa consultora de data science.
Fazemos a passagem do projeto com documentação e monitorização, ou continuamos a gerir as pipelines. Se mais tarde precisar de modelos, saiba mais sobre a nossa consultora de data science para Tilburg.
Acordamos previamente qual será a abordagem.
Quer continuar a desenvolver os relatórios ou os modelos em Tilburg?
- Data engineeringComo ligamos fontes de dados e construímos uma plataforma de dados que se mantém operacional.
- Especialista em Power BI em TilburgRelatórios assentes num único modelo de dados para organizações no Brabante Central.
- Consultora de data science em TilburgModelos que identificam e preveem com base nos seus próprios dados.