Ir para o conteúdo

Consultora de data engineering na Haia

Criamos pipelines e um data warehouse no seu próprio ambiente, com verificações definidas e documentação, como fizemos para o data warehouse da Zuiver no seu próprio servidor.

Um data warehouse num servidor próprio da Zuiver, que reúne diferentes fontes

“A DSL ajudou-nos a criar o nosso primeiro data warehouse. Acompanhou-nos passo a passo […] e trabalhou connosco para identificar a informação de que precisamos para tomar melhores decisões.” Richard Aznar Webster, CEO da Zuiver Interior Group. A Zuiver não é um cliente de Haia; este caso de estudo mostra como construímos.

Leia o caso de estudo

Como manter os nossos dados sob o nosso controlo e atualizados todos os dias?

Nos municípios, ministérios, instituições de saúde e empresas de logística de Haaglanden, muitas vezes os dados têm de permanecer no ambiente da própria organização. Ao mesmo tempo, as equipas querem números atualizados todos os dias. Data engineering concilia as duas necessidades: pipelines de carregamento que funcionam automaticamente num ambiente gerido pela própria organização.

Agende uma conversa

Pipelines, um data warehouse e permissões que permanecem no seu ambiente

Fale connosco sobre as suas fontes de dados

Fontes via API ou exportação

Pipelines de dados diários a partir de sistemas de registo, gestão de processos e ERP, através das respetivas APIs ou de uma exportação regular, com um alerta se algum dado não chegar.

No seu próprio servidor ou na sua cloud

Um data warehouse que reúne as suas fontes, nos seus próprios servidores ou no seu ambiente cloud. Para a Zuiver, construímos um no seu próprio servidor.

Permissões e registo de atividades

O acesso a cada tabela é definido por função, com um registo de quem consulta o quê. Os dados pessoais só ficam disponíveis onde são necessários para a finalidade prevista.

Documentação e passagem de conhecimento

Pipelines de dados como código, com uma descrição das fontes e definições, para que a sua equipa ou quem lhe suceder possa assumir a gestão.

Os requisitos de segurança e a titularidade dos dados vêm antes da primeira fonte

  1. Requisitos e fontes

    Que fontes utilizar, quais são os requisitos de segurança e armazenamento e a quem pertencem os diferentes dados.

  2. Uma fonte de ponta a ponta

    A primeira fonte, desde a pipeline de carregamento até à tabela de relatórios, com verificações, permissões e documentação.

  3. Expandir e gerir

    Ligar outras fontes, monitorizar as pipelines de carregamento e assegurar a gestão pela sua equipa ou pela nossa.

Precisamos mesmo de um ambiente próprio para os nossos dados ou há outra solução?

Fale connosco para avaliar

Adequado se

A sua organização na região de Haia utiliza várias fontes de dados, precisa de números diários para relatórios ou análises e tem requisitos quanto ao local onde os dados são armazenados e a quem pode aceder-lhes.

Não é adequado se

Tem um único sistema de origem com bons relatórios padrão. Ou procura sobretudo um data engineer temporário para a sua equipa; nesse caso, a cedência de um profissional é mais adequada do que um projeto.

O que determina a dimensão do projeto

O número de fontes e a forma como fornecem os dados, os requisitos de segurança e armazenamento, a existência ou não de um data warehouse e quem ficará responsável pela sua gestão depois.

Isto é compatível com a BIO?

As organizações públicas seguem a Baseline Informatiebeveiliging Overheid. Configuramos as permissões de acesso, os registos de atividade e o armazenamento para que possam ser avaliados face às medidas BIO da sua organização. Essa avaliação cabe ao responsável pela segurança da sua organização.

Servidor próprio, ambiente cloud próprio ou uma plataforma de dados mais ampla: onde ficará o seu data warehouse?

Servidor próprio

Escolha esta opção se as políticas ou os contratos exigirem que os dados permaneçam no seu próprio centro de dados. Terá também de gerir o hardware e as atualizações.

Ambiente cloud próprio

Escolha esta opção se a sua organização já utiliza Azure. O nosso conselho: defina o armazenamento, a rede e as permissões como código, para poder verificar e reconstruir o ambiente.

Uma plataforma de dados mais ampla

Escolha esta opção se, além dos relatórios, também forem criados modelos com os mesmos dados. Leia sobre um data lakehouse.

Também construímos camadas de dados na região de Haia, a partir do nosso escritório em Amesterdão

A Data Science Lab trabalha com dados e IA desde 2016. Somos parceiros da Databricks e da Microsoft, construímos o data warehouse da Zuiver e trabalhámos para organizações públicas como Rijkswaterstaat e Waternet.

Agende uma reunião para nos conhecermos

As suas fontes e os seus requisitos de segurança definem a agenda da primeira conversa

Stef Stoelwinder

Stef Stoelwinder

Desenvolvimento de Negócio

Stef é o seu primeiro ponto de contacto. Na primeira conversa, falamos das suas fontes, dos requisitos de armazenamento e segurança e do primeiro passo.

De que sistema devem vir os primeiros dados?

Indique-nos que fontes de dados tem e quais os requisitos aplicáveis. Responderemos por email ou agendaremos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Constrói a estrutura por trás dos seus relatórios e análises: pipelines a partir dos sistemas de origem, um data warehouse ou uma plataforma de dados, verificações e permissões de acesso. Na região de Haaglanden, trata-se muitas vezes de entidades públicas, do setor da saúde e da logística, onde os requisitos de armazenamento e acesso têm um peso significativo.

Procura um especialista em data engineering ou uma plataforma de dados em Haia? Disponibilizamos uma equipa que constrói a solução completa e a entrega à sua organização. Saiba mais sobre o serviço na página de data engineering.

Sim. Para a Zuiver, construímos um data warehouse num servidor próprio. Também pode optar por um ambiente cloud dedicado, no qual a sua organização decide onde ficam os dados e quem lhes pode aceder.

As políticas e os contratos da sua organização determinam que opções são permitidas. A decisão cabe à sua organização; nós mostramos o que cada opção exige em termos de gestão e segurança.

A Baseline Informatiebeveiliging Overheid é o quadro de normas de referência para a segurança da informação na administração central, nos municípios, nas províncias e nas entidades responsáveis pela gestão da água. Segundo a Digitale Overheid, a BIO2 é legalmente obrigatória desde a Cyberbeveiligingswet para as organizações públicas abrangidas por essa lei.

Configuramos as permissões, os registos de atividade, a encriptação e a gestão de modo a que a sua organização os possa avaliar face às suas próprias medidas. A avaliação propriamente dita cabe ao responsável pela segurança da sua organização.

Com verificações após cada execução: os dados chegaram, o número de linhas é plausível, as colunas continuam a ser as mesmas e os dados são suficientemente recentes? Se uma verificação falhar, o responsável pela gestão recebe um alerta antes de alguém abrir um relatório desatualizado.

Assim, deteta uma alteração numa exportação ou uma ligação interrompida no próprio dia, e não apenas quando chegam os números mensais.

Incluímos apenas os campos necessários para a finalidade definida, separamos os dados que permitem a identificação direta dos restantes sempre que possível e atribuímos acesso por função. Registamos quem consulta o quê.

O encarregado da proteção de dados da sua organização avalia se o tratamento é permitido. Nós asseguramos que a configuração técnica corresponde ao que foi acordado.

Sim. Nesses setores, o foco está mais frequentemente nos dados de sensores, nos sistemas ERP e no planeamento do que nos requisitos de segurança do setor público. Abordamos essa perspetiva na nossa página sobre a consultora de data engineering em Roterdão.

A abordagem é a mesma: primeiro, integrar uma fonte por completo, com verificações e documentação; depois, as restantes.

Para modelos assentes nos seus dados: consultora de data science em Haia. Para IA com gestão contínua: consultora de IA em Haia. Para relatórios: especialista em Power BI em Haia.

Se pretende primeiro aconselhamento sobre onde os dados e a IA podem gerar mais valor, leia sobre o nosso consultor de IA em Haia.

Quando tem um único sistema de origem com relatórios que são suficientes, ou quando as questões surgem tão raramente que uma exportação manual basta. Um data warehouse também exige gestão.

Se tiver dúvidas, analisamos consigo as suas fontes e as questões a que pretende responder. Leia também sobre a construção de um data warehouse.