Ir para o conteúdo

Consultora de data engineering em Tilburg

Criamos pipelines de dados que seguem um percurso definido dos testes até à produção. Foi assim que automatizámos o processo de release para a SNG.

Para a SNG, automatizámos o processo de release ao longo da cadeia de ambientes DTAP no Google Cloud Platform

A equipa DevOps da SNG tem menos passos manuais a executar, e cada release segue o mesmo processo controlado com Terraform e Kubernetes. Aplicamos também esta abordagem às pipelines de dados.

Leia o caso de estudo

Porque é que o dashboard deixa de apresentar dados corretos quando os dados mudam?

Uma nova coluna na fonte, uma correção rápida em produção ou uma etapa de carregamento que falha silenciosamente. Sem um processo definido e verificações, o utilizador é o primeiro a dar por isso. Com uma configuração adequada, deteta o problema mais cedo.

Agende uma conversa

Cada alteração testada, implementada e passível de reversão

Fale connosco sobre as suas pipelines

Um processo de lançamento consistente

Desenvolvimento, testes, aceitação e produção em ambientes separados, como fizemos ao configurar o processo de lançamento para SNG.

Infraestrutura como código

Armazenamento, capacidade de processamento e permissões definidos em Terraform ou numa ferramenta semelhante, para poder reconstruir um ambiente.

Verificações em cada etapa de carregamento

Testes às contagens de registos, aos campos vazios e às chaves, com um alerta se uma etapa de carregamento falhar ou estiver atrasada.

Validação antes da publicação

Para Zorginstituut Nederland, desenvolvemos uma pipeline de validação e publicação em GitLab para lançamentos controlados de produtos KIK-V.

Integramos primeiro no fluxo de deployment a pipeline que falha mais vezes

  1. Levantamento

    Que fontes, etapas de carregamento e ambientes existem, quem os gere e onde surgem atualmente os problemas.

  2. Uma pipeline no fluxo de deployment

    Controlo de versões, testes e deployment automático para a etapa de carregamento com mais falhas.

  3. Expandir e passar à equipa

    Seguem-se as restantes pipelines, com documentação e monitorização para a sua equipa.

Uma pipeline de lançamentos de dados faz sentido para uma equipa pequena?

Avalie connosco numa conversa

Faz sentido se

Várias pessoas trabalham nas mesmas pipelines, há relatórios ou modelos que dependem delas e investigar um erro em produção demora agora uma manhã inteira.

Não faz sentido se

Uma só pessoa gere uma única fonte de dados e um único relatório, e as alterações são raras. Nesse caso, basta uma cópia de segurança simples com documentação.

O que determina a dimensão

O número de fontes e etapas de carregamento, a plataforma que utiliza, se já existe controlo de versões e quem fará a gestão depois.

Ficamos dependentes da Data Science Lab?

Não. Tudo fica documentado, no seu próprio sistema de controlo de versões e ambiente cloud, para que a sua equipa ou outra empresa de consultoria possa dar continuidade ao trabalho.

Colocação manual em produção, um script por pipeline ou um único processo para tudo?

Colocação manual em produção

Escolha esta opção se houver poucas alterações e uma só pessoa conhecer todo o processo. O risco é que o conhecimento e os erros fiquem concentrados nessa pessoa.

Um script por pipeline

Escolha esta opção se tiver algumas etapas de carregamento que funcionam de forma independente. Cada script terá então a sua própria forma de testar e colocar em produção.

Um único processo para tudo

Escolha esta opção se mais pessoas trabalharem com os mesmos dados. O nosso conselho: comece pelo controlo de versões e pelos testes da etapa de carregamento mais importante.

Criámos processos de release e pipelines para organizações públicas

A Data Science Lab trabalha a partir da Westerdoksdijk, em Amesterdão, também para organizações muito além da cidade. Automatizámos releases e publicações para a SNG e o Zorginstituut Nederland. Somos Microsoft Partner e Databricks Partner.

Agende uma reunião de apresentação

A etapa de carregamento que corrige com mais frequência é o início da primeira conversa

Stef Stoelwinder

Stef Stoelwinder

Business Development

Stef é o seu ponto de contacto. Na primeira conversa, falamos das suas fontes, dos seus pipelines e dos pontos em que estão a falhar neste momento.

Que pipeline pretende tornar fiável primeiro?

Indique-nos que fontes e plataforma a sua equipa utiliza. Respondemos por e-mail ou agendamos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Constrói e gere as pipelines que extraem dados das suas fontes, os limpam e os preparam para relatórios e modelos. Também garante que essas pipelines continuam a funcionar de forma fiável.

Saiba como o fazemos em data engineering.

Consiste em ambientes separados para desenvolvimento, testes, aceitação e produção. Uma alteração só passa para produção depois de funcionar corretamente nos outros ambientes.

No caso dos dados, isto também implica ter um conjunto de dados de teste semelhante aos dados reais, sem expor informações sensíveis.

Teste o número de linhas, os campos obrigatórios, as chaves únicas e os valores dentro de um intervalo esperado. Verifique também se o carregamento de dados terminou a tempo.

Com o dbt, definimos estes testes juntamente com os modelos.

Trabalhamos com Azure, Databricks, Microsoft Fabric e Google Cloud, além de ferramentas como Terraform, GitLab e dbt. Para a SNG, trabalhámos no Google Cloud Platform com Terraform e Kubernetes.

Escolhemos o que melhor se adapta ao seu ambiente atual.

A Data Science Lab trabalha a partir de Amesterdão. Deslocamo-nos até si no início do projeto e em momentos importantes; no restante tempo, trabalhamos à distância com a sua equipa.

Grande parte do trabalho decorre no seu próprio ambiente, pelo que esta forma de trabalhar funciona bem.

Sim. Se preferir que alguém trabalhe durante algum tempo lado a lado com a sua equipa, saiba mais sobre contratar um data engineer.

Essa pessoa configura os ambientes DTAP em conjunto com a sua equipa.

Nesse caso, construímos primeiro a fundação de dados, incluindo logo a estrutura DTAP. É mais fácil do que acrescentá-la mais tarde. Se a sua prioridade forem os relatórios, conheça o nosso Power BI specialist para Tilburg.

Para criar modelos com esses dados, pode contar com a nossa consultora de data science.

Fazemos a passagem do projeto com documentação e monitorização, ou continuamos a gerir as pipelines. Se mais tarde precisar de modelos, saiba mais sobre a nossa consultora de data science para Tilburg.

Acordamos previamente qual será a abordagem.