Ir para o conteúdo

Consultora de data engineering em Groningen

Ligamos, estruturamos e normalizamos as suas fontes de dados numa única plataforma de dados, como fizemos para o Concertgebouworkest com Databricks e dbt.

Para o Koninklijk Concertgebouworkest, reunimos fontes dispersas numa única plataforma de dados onde é fácil encontrar informação

A rica história da orquestra estava dispersa por sistemas, arquivos e fontes de dados. Ao ligar, estruturar e normalizar dados de vários sistemas, tornamos a informação mais fácil de encontrar e amplamente acessível […].

Leia o caso de estudo

Porque continuamos a passar horas à procura de dados que já estão algures nos nossos sistemas?

Um sistema de registo, um arquivo, algumas exportações e uma folha de cálculo mantida por um colega. Enquanto ninguém souber onde está cada informação, cada relatório ou modelo começa por uma pesquisa. Uma plataforma de dados com um catálogo resolve esse problema.

Agende uma conversa

Fontes ligadas, dados normalizados e um catálogo que indica onde está cada coisa

Fale connosco sobre as suas fontes de dados

Ligar

Sistemas, arquivos e exportações são reunidos numa única plataforma, como fizemos ao ligar dados de vários sistemas para o Concertgebouworkest.

Normalizar

Os mesmos conceitos, códigos e datas em todas as fontes, registados em transformações que pode acompanhar passo a passo.

Facilitar a pesquisa

Um catálogo que indica, para cada tabela, o responsável, uma descrição e quem pode aceder-lhe, para que os colegas encontrem o que precisam por si próprios.

Manter em funcionamento

Etapas de carregamento com verificações e alertas, para detetar uma fonte com problemas antes de um relatório mostrar dados incorretos.

Começamos pela fonte que exige mais tempo de pesquisa

  1. Inventário das fontes

    Que sistemas, arquivos e exportações existem, quem os gere e que perguntas continuam por responder.

  2. Uma fonte por completo

    Da recolha dos dados a uma tabela bem estruturada e com descrição, validada pelos colegas que atualmente pesquisam nessa fonte.

  3. Expandir e transferir

    Acrescentamos as fontes uma a uma, com a gestão a nosso cargo ou a transferência para a sua própria equipa.

Uma organização no Norte precisa de uma plataforma de dados própria ou basta uma solução mais pequena?

Avalie numa conversa connosco

Faz sentido se

Os dados estão dispersos por vários sistemas e arquivos, os relatórios e modelos usam, cada um, uma cópia própria, e ninguém consegue dizer qual é a versão correta.

Não faz sentido se

Está tudo num único sistema com bons relatórios, ou trata-se de uma análise pontual. Nesse caso, uma plataforma dá mais trabalho de gestão do que benefícios, e dizemo-lo.

O que determina a dimensão

O número de fontes, a antiguidade e a desorganização dos dados, quem pode ver cada conjunto de dados, a cloud que já utiliza e quem ficará responsável pela gestão.

Uma equipa de Amesterdão também consegue trabalhar à distância?

Sim. A maior parte do trabalho de desenvolvimento é feita no seu ambiente cloud e pode ser realizada online. Para fazer o levantamento e validar com os utilizadores, deslocamo-nos a Groningen.

Um data warehouse, um lakehouse ou, para começar, apenas um catálogo?

Um data warehouse

Escolha esta opção se o objetivo principal for reunir dados estruturados de alguns sistemas para produzir relatórios. Saiba mais sobre o data warehouse.

Um lakehouse

Escolha esta opção se também precisar de incluir documentos, arquivos e ficheiros de grandes dimensões, e os modelos utilizarem os mesmos dados. Se tiver muitos tipos de fontes, recomendamos começar por aqui.

Começar por um catálogo

Escolha esta opção se os dados já existirem, mas ninguém os conseguir encontrar. Uma descrição e um responsável por cada fonte são a forma mais rápida de obter resultados.

Construímos plataformas de dados desde 2016, como parceiros da Databricks e da Microsoft

A Data Science Lab trabalha a partir da Westerdoksdijk, em Amsterdam, também para organizações muito além da cidade. Para o Concertgebouworkest, construímos uma plataforma de dados com Databricks, Delta Lake, Unity Catalog e dbt.

Agende uma reunião de apresentação

Para a primeira conversa, basta uma lista dos seus sistemas e das perguntas a que precisam de responder

Stef Stoelwinder

Stef Stoelwinder

Business Development

Stef é o seu primeiro ponto de contacto. Na primeira conversa, falamos das suas fontes de dados, daquilo que os seus colegas demoram mais tempo a encontrar atualmente e da cloud que já utilizam.

Qual é a fonte em que perde mais tempo a pesquisar atualmente?

Indique que sistemas, arquivos e exportações existem e o que pretende fazer com eles. Respondemos por e-mail ou agendamos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Constrói a fundação para relatórios e modelos: recolhe dados de várias fontes, normaliza-os e coloca-os numa plataforma onde todos utilizam a mesma versão, já validada. Depois, mantém os processos de carregamento de dados em funcionamento.

Saiba como abordamos este trabalho na página de data engineering.

Não. Trabalhamos a partir da Westerdoksdijk, em Amesterdão. Com organizações em Groningen, Friesland e Drenthe, trabalhamos sobretudo online e deslocamo-nos ao local para fazer o levantamento das necessidades e testar o trabalho com os utilizadores.

Nenhum dos casos de estudo aqui apresentados decorreu em Groningen; mostram o que construímos.

Primeiro, analisamos o que existe: que campos, períodos e códigos estão presentes. Depois, colocamos os dados na plataforma sem alterações e criamos, em paralelo, uma versão organizada que utiliza as mesmas definições que os restantes dados.

Assim, o original fica preservado e é sempre possível rastrear a origem de um valor.

É um inventário de todas as tabelas da plataforma, com uma descrição, um responsável e as respetivas permissões de acesso. Para o Concertgebouworkest, utilizámos o Unity Catalog. Sem um catálogo, só quem construiu a plataforma sabe onde encontrar cada coisa.

Saiba mais sobre responsabilidades e regras acordadas na página de governação de dados.

O dbt regista as transformações como código: dos dados brutos das fontes até às tabelas organizadas, com testes e documentação. Cada passo pode ser verificado e repetido, e as alterações seguem um processo definido.

Saiba como configuramos o dbt na página de implementação do dbt.

Muitas vezes, escolhemos Databricks em Azure, por sermos parceiros, mas começamos por analisar o que já utiliza. Guardar os dados em formatos abertos, como Delta Lake, e fazer as transformações em dbt ajuda a evitar a dependência de um único fornecedor.

O código fica no seu próprio ambiente, para que outra equipa possa assumir o trabalho.

Sim. Se preferir alguém que desenvolva a solução com a sua equipa, saiba mais sobre contratar um data engineer. Num projeto, fornecemos a equipa e entregamos o resultado acordado.

Definimos antecipadamente quem ficará responsável pela gestão da plataforma.

A decisão é sua; a plataforma permite as três opções. Para relatórios no norte dos Países Baixos, saiba mais sobre o nosso especialista em Power BI em Groningen.

Para modelos, conheça a nossa consultora de data science em Groningen; para aplicações baseadas em modelos de linguagem, a nossa consultora de IA em Groningen.