Consultora de data engineering na Haia
Criamos pipelines e um data warehouse no seu próprio ambiente, com verificações definidas e documentação, como fizemos para o data warehouse da Zuiver no seu próprio servidor.
Um data warehouse num servidor próprio da Zuiver, que reúne diferentes fontes
“A DSL ajudou-nos a criar o nosso primeiro data warehouse. Acompanhou-nos passo a passo […] e trabalhou connosco para identificar a informação de que precisamos para tomar melhores decisões.” Richard Aznar Webster, CEO da Zuiver Interior Group. A Zuiver não é um cliente de Haia; este caso de estudo mostra como construímos.
Como manter os nossos dados sob o nosso controlo e atualizados todos os dias?
Nos municípios, ministérios, instituições de saúde e empresas de logística de Haaglanden, muitas vezes os dados têm de permanecer no ambiente da própria organização. Ao mesmo tempo, as equipas querem números atualizados todos os dias. Data engineering concilia as duas necessidades: pipelines de carregamento que funcionam automaticamente num ambiente gerido pela própria organização.
Pipelines, um data warehouse e permissões que permanecem no seu ambiente
Fontes via API ou exportação
Pipelines de dados diários a partir de sistemas de registo, gestão de processos e ERP, através das respetivas APIs ou de uma exportação regular, com um alerta se algum dado não chegar.
No seu próprio servidor ou na sua cloud
Um data warehouse que reúne as suas fontes, nos seus próprios servidores ou no seu ambiente cloud. Para a Zuiver, construímos um no seu próprio servidor.
Permissões e registo de atividades
O acesso a cada tabela é definido por função, com um registo de quem consulta o quê. Os dados pessoais só ficam disponíveis onde são necessários para a finalidade prevista.
Documentação e passagem de conhecimento
Pipelines de dados como código, com uma descrição das fontes e definições, para que a sua equipa ou quem lhe suceder possa assumir a gestão.
Os requisitos de segurança e a titularidade dos dados vêm antes da primeira fonte
-
Requisitos e fontes
Que fontes utilizar, quais são os requisitos de segurança e armazenamento e a quem pertencem os diferentes dados.
-
Uma fonte de ponta a ponta
A primeira fonte, desde a pipeline de carregamento até à tabela de relatórios, com verificações, permissões e documentação.
-
Expandir e gerir
Ligar outras fontes, monitorizar as pipelines de carregamento e assegurar a gestão pela sua equipa ou pela nossa.
Precisamos mesmo de um ambiente próprio para os nossos dados ou há outra solução?
Adequado se
A sua organização na região de Haia utiliza várias fontes de dados, precisa de números diários para relatórios ou análises e tem requisitos quanto ao local onde os dados são armazenados e a quem pode aceder-lhes.
Não é adequado se
Tem um único sistema de origem com bons relatórios padrão. Ou procura sobretudo um data engineer temporário para a sua equipa; nesse caso, a cedência de um profissional é mais adequada do que um projeto.
O que determina a dimensão do projeto
O número de fontes e a forma como fornecem os dados, os requisitos de segurança e armazenamento, a existência ou não de um data warehouse e quem ficará responsável pela sua gestão depois.
Isto é compatível com a BIO?
As organizações públicas seguem a Baseline Informatiebeveiliging Overheid. Configuramos as permissões de acesso, os registos de atividade e o armazenamento para que possam ser avaliados face às medidas BIO da sua organização. Essa avaliação cabe ao responsável pela segurança da sua organização.
Servidor próprio, ambiente cloud próprio ou uma plataforma de dados mais ampla: onde ficará o seu data warehouse?
Servidor próprio
Escolha esta opção se as políticas ou os contratos exigirem que os dados permaneçam no seu próprio centro de dados. Terá também de gerir o hardware e as atualizações.
Ambiente cloud próprio
Escolha esta opção se a sua organização já utiliza Azure. O nosso conselho: defina o armazenamento, a rede e as permissões como código, para poder verificar e reconstruir o ambiente.
Uma plataforma de dados mais ampla
Escolha esta opção se, além dos relatórios, também forem criados modelos com os mesmos dados. Leia sobre um data lakehouse.
Também construímos camadas de dados na região de Haia, a partir do nosso escritório em Amesterdão
A Data Science Lab trabalha com dados e IA desde 2016. Somos parceiros da Databricks e da Microsoft, construímos o data warehouse da Zuiver e trabalhámos para organizações públicas como Rijkswaterstaat e Waternet.

As suas fontes e os seus requisitos de segurança definem a agenda da primeira conversa
Stef Stoelwinder
Desenvolvimento de NegócioStef é o seu primeiro ponto de contacto. Na primeira conversa, falamos das suas fontes, dos requisitos de armazenamento e segurança e do primeiro passo.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
De que sistema devem vir os primeiros dados?
Indique-nos que fontes de dados tem e quais os requisitos aplicáveis. Responderemos por email ou agendaremos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Constrói a estrutura por trás dos seus relatórios e análises: pipelines a partir dos sistemas de origem, um data warehouse ou uma plataforma de dados, verificações e permissões de acesso. Na região de Haaglanden, trata-se muitas vezes de entidades públicas, do setor da saúde e da logística, onde os requisitos de armazenamento e acesso têm um peso significativo.
Procura um especialista em data engineering ou uma plataforma de dados em Haia? Disponibilizamos uma equipa que constrói a solução completa e a entrega à sua organização. Saiba mais sobre o serviço na página de data engineering.
Sim. Para a Zuiver, construímos um data warehouse num servidor próprio. Também pode optar por um ambiente cloud dedicado, no qual a sua organização decide onde ficam os dados e quem lhes pode aceder.
As políticas e os contratos da sua organização determinam que opções são permitidas. A decisão cabe à sua organização; nós mostramos o que cada opção exige em termos de gestão e segurança.
A Baseline Informatiebeveiliging Overheid é o quadro de normas de referência para a segurança da informação na administração central, nos municípios, nas províncias e nas entidades responsáveis pela gestão da água. Segundo a Digitale Overheid, a BIO2 é legalmente obrigatória desde a Cyberbeveiligingswet para as organizações públicas abrangidas por essa lei.
Configuramos as permissões, os registos de atividade, a encriptação e a gestão de modo a que a sua organização os possa avaliar face às suas próprias medidas. A avaliação propriamente dita cabe ao responsável pela segurança da sua organização.
Com verificações após cada execução: os dados chegaram, o número de linhas é plausível, as colunas continuam a ser as mesmas e os dados são suficientemente recentes? Se uma verificação falhar, o responsável pela gestão recebe um alerta antes de alguém abrir um relatório desatualizado.
Assim, deteta uma alteração numa exportação ou uma ligação interrompida no próprio dia, e não apenas quando chegam os números mensais.
Incluímos apenas os campos necessários para a finalidade definida, separamos os dados que permitem a identificação direta dos restantes sempre que possível e atribuímos acesso por função. Registamos quem consulta o quê.
O encarregado da proteção de dados da sua organização avalia se o tratamento é permitido. Nós asseguramos que a configuração técnica corresponde ao que foi acordado.
Sim. Nesses setores, o foco está mais frequentemente nos dados de sensores, nos sistemas ERP e no planeamento do que nos requisitos de segurança do setor público. Abordamos essa perspetiva na nossa página sobre a consultora de data engineering em Roterdão.
A abordagem é a mesma: primeiro, integrar uma fonte por completo, com verificações e documentação; depois, as restantes.
Para modelos assentes nos seus dados: consultora de data science em Haia. Para IA com gestão contínua: consultora de IA em Haia. Para relatórios: especialista em Power BI em Haia.
Se pretende primeiro aconselhamento sobre onde os dados e a IA podem gerar mais valor, leia sobre o nosso consultor de IA em Haia.
Quando tem um único sistema de origem com relatórios que são suficientes, ou quando as questões surgem tão raramente que uma exportação manual basta. Um data warehouse também exige gestão.
Se tiver dúvidas, analisamos consigo as suas fontes e as questões a que pretende responder. Leia também sobre a construção de um data warehouse.
Começa pela camada de dados ou procura também algo que funcione sobre ela?
- Data engineeringComo configuramos os fluxos de carregamento, o armazenamento e os controlos para qualquer organização.
- Criação de um data warehouseUm único local onde as suas fontes de dados se reúnem, num servidor próprio ou na cloud.
- Empresa de data engineering em RoterdãoO mesmo serviço para a produção e a logística noutras zonas da Holanda do Sul.