Consultora de data engineering em Groningen
Ligamos, estruturamos e normalizamos as suas fontes de dados numa única plataforma de dados, como fizemos para o Concertgebouworkest com Databricks e dbt.
Para o Koninklijk Concertgebouworkest, reunimos fontes dispersas numa única plataforma de dados onde é fácil encontrar informação
A rica história da orquestra estava dispersa por sistemas, arquivos e fontes de dados. Ao ligar, estruturar e normalizar dados de vários sistemas, tornamos a informação mais fácil de encontrar e amplamente acessível […].
Porque continuamos a passar horas à procura de dados que já estão algures nos nossos sistemas?
Um sistema de registo, um arquivo, algumas exportações e uma folha de cálculo mantida por um colega. Enquanto ninguém souber onde está cada informação, cada relatório ou modelo começa por uma pesquisa. Uma plataforma de dados com um catálogo resolve esse problema.
Fontes ligadas, dados normalizados e um catálogo que indica onde está cada coisa
Ligar
Sistemas, arquivos e exportações são reunidos numa única plataforma, como fizemos ao ligar dados de vários sistemas para o Concertgebouworkest.
Normalizar
Os mesmos conceitos, códigos e datas em todas as fontes, registados em transformações que pode acompanhar passo a passo.
Facilitar a pesquisa
Um catálogo que indica, para cada tabela, o responsável, uma descrição e quem pode aceder-lhe, para que os colegas encontrem o que precisam por si próprios.
Manter em funcionamento
Etapas de carregamento com verificações e alertas, para detetar uma fonte com problemas antes de um relatório mostrar dados incorretos.
Começamos pela fonte que exige mais tempo de pesquisa
-
Inventário das fontes
Que sistemas, arquivos e exportações existem, quem os gere e que perguntas continuam por responder.
-
Uma fonte por completo
Da recolha dos dados a uma tabela bem estruturada e com descrição, validada pelos colegas que atualmente pesquisam nessa fonte.
-
Expandir e transferir
Acrescentamos as fontes uma a uma, com a gestão a nosso cargo ou a transferência para a sua própria equipa.
Uma organização no Norte precisa de uma plataforma de dados própria ou basta uma solução mais pequena?
Faz sentido se
Os dados estão dispersos por vários sistemas e arquivos, os relatórios e modelos usam, cada um, uma cópia própria, e ninguém consegue dizer qual é a versão correta.
Não faz sentido se
Está tudo num único sistema com bons relatórios, ou trata-se de uma análise pontual. Nesse caso, uma plataforma dá mais trabalho de gestão do que benefícios, e dizemo-lo.
O que determina a dimensão
O número de fontes, a antiguidade e a desorganização dos dados, quem pode ver cada conjunto de dados, a cloud que já utiliza e quem ficará responsável pela gestão.
Uma equipa de Amesterdão também consegue trabalhar à distância?
Sim. A maior parte do trabalho de desenvolvimento é feita no seu ambiente cloud e pode ser realizada online. Para fazer o levantamento e validar com os utilizadores, deslocamo-nos a Groningen.
Um data warehouse, um lakehouse ou, para começar, apenas um catálogo?
Um data warehouse
Escolha esta opção se o objetivo principal for reunir dados estruturados de alguns sistemas para produzir relatórios. Saiba mais sobre o data warehouse.
Um lakehouse
Escolha esta opção se também precisar de incluir documentos, arquivos e ficheiros de grandes dimensões, e os modelos utilizarem os mesmos dados. Se tiver muitos tipos de fontes, recomendamos começar por aqui.
Começar por um catálogo
Escolha esta opção se os dados já existirem, mas ninguém os conseguir encontrar. Uma descrição e um responsável por cada fonte são a forma mais rápida de obter resultados.
Construímos plataformas de dados desde 2016, como parceiros da Databricks e da Microsoft
A Data Science Lab trabalha a partir da Westerdoksdijk, em Amsterdam, também para organizações muito além da cidade. Para o Concertgebouworkest, construímos uma plataforma de dados com Databricks, Delta Lake, Unity Catalog e dbt.

Para a primeira conversa, basta uma lista dos seus sistemas e das perguntas a que precisam de responder
Stef Stoelwinder
Business DevelopmentStef é o seu primeiro ponto de contacto. Na primeira conversa, falamos das suas fontes de dados, daquilo que os seus colegas demoram mais tempo a encontrar atualmente e da cloud que já utilizam.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Qual é a fonte em que perde mais tempo a pesquisar atualmente?
Indique que sistemas, arquivos e exportações existem e o que pretende fazer com eles. Respondemos por e-mail ou agendamos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Constrói a fundação para relatórios e modelos: recolhe dados de várias fontes, normaliza-os e coloca-os numa plataforma onde todos utilizam a mesma versão, já validada. Depois, mantém os processos de carregamento de dados em funcionamento.
Saiba como abordamos este trabalho na página de data engineering.
Não. Trabalhamos a partir da Westerdoksdijk, em Amesterdão. Com organizações em Groningen, Friesland e Drenthe, trabalhamos sobretudo online e deslocamo-nos ao local para fazer o levantamento das necessidades e testar o trabalho com os utilizadores.
Nenhum dos casos de estudo aqui apresentados decorreu em Groningen; mostram o que construímos.
Primeiro, analisamos o que existe: que campos, períodos e códigos estão presentes. Depois, colocamos os dados na plataforma sem alterações e criamos, em paralelo, uma versão organizada que utiliza as mesmas definições que os restantes dados.
Assim, o original fica preservado e é sempre possível rastrear a origem de um valor.
É um inventário de todas as tabelas da plataforma, com uma descrição, um responsável e as respetivas permissões de acesso. Para o Concertgebouworkest, utilizámos o Unity Catalog. Sem um catálogo, só quem construiu a plataforma sabe onde encontrar cada coisa.
Saiba mais sobre responsabilidades e regras acordadas na página de governação de dados.
O dbt regista as transformações como código: dos dados brutos das fontes até às tabelas organizadas, com testes e documentação. Cada passo pode ser verificado e repetido, e as alterações seguem um processo definido.
Saiba como configuramos o dbt na página de implementação do dbt.
Muitas vezes, escolhemos Databricks em Azure, por sermos parceiros, mas começamos por analisar o que já utiliza. Guardar os dados em formatos abertos, como Delta Lake, e fazer as transformações em dbt ajuda a evitar a dependência de um único fornecedor.
O código fica no seu próprio ambiente, para que outra equipa possa assumir o trabalho.
Sim. Se preferir alguém que desenvolva a solução com a sua equipa, saiba mais sobre contratar um data engineer. Num projeto, fornecemos a equipa e entregamos o resultado acordado.
Definimos antecipadamente quem ficará responsável pela gestão da plataforma.
A decisão é sua; a plataforma permite as três opções. Para relatórios no norte dos Países Baixos, saiba mais sobre o nosso especialista em Power BI em Groningen.
Para modelos, conheça a nossa consultora de data science em Groningen; para aplicações baseadas em modelos de linguagem, a nossa consultora de IA em Groningen.
O que desenvolve na plataforma: modelos ou relatórios no Norte?
- Data engineeringComo construímos pipelines e plataformas que fornecem os mesmos dados a relatórios e modelos.
- Consultoria de data science em GroningenModelos que fazem previsões ou classificações para organizações em Groningen e no norte dos Países Baixos.
- Especialista em Power BI em GroningenUm único modelo Power BI para organizações com instalações distribuídas pelo Norte.