Consultora de data engineering em Roterdão
Reunimos dados de sensores e do ERP provenientes de estufas, armazéns e transportes. Estamos a criar uma plataforma de dados em Databricks para a produtora de tomates Agro Care, de Wateringen.
Na Agro Care, todos os dados ficam reunidos numa plataforma de dados com um data warehouse, pronta para BI e data science
A Agro Care, uma das principais produtoras de tomate da Europa, está a dar passos importantes para trabalhar de forma mais orientada por dados. Para a etapa seguinte, um ambiente de dados escalável e estável, estamos a criar uma plataforma de dados em Databricks que armazena todos os dados num local central e os torna acessíveis.
Como colocar os dados do computador de controlo climático, os registos de colheita e o ERP numa única linha temporal?
O computador de controlo climático faz medições contínuas por secção, os dados da colheita estão num sistema de registo e as encomendas e cargas no ERP, cada um com os seus próprios códigos. Criamos pipelines que reúnem estes dados numa única plataforma de dados, com os mesmos identificadores para localização, lote e cliente.
Séries de medições, lotes e encomendas numa única plataforma usada por quem planeia e por quem faz o controlo de gestão
Séries de sensores guardadas primeiro em bruto
As medições climáticas, de água e de energia são guardadas sem alterações numa camada de origem. Para a Fokker Services Group, modelámos os dados segundo a arquitetura medallion.
Dados do ERP disponibilizados automaticamente
As encomendas, os artigos e os dados dos clientes chegam automaticamente do ERP. Na Vivara, a plataforma de dados recolhe diariamente dados de fontes como SAP e Magento.
Dados mestre com histórico
Se uma variedade passar para outra secção ou um cliente mudar de depósito, a versão anterior é preservada. Assim, os números da época passada mantêm-se corretos.
Pronta para relatórios e modelos
A plataforma disponibiliza tabelas para BI e análise. É esse o objetivo na Agro Care: guardar todos os dados num local central e torná-los facilmente acessíveis.
Primeiro, acertamos as chaves de uma fonte; depois, ligamos as restantes
-
Códigos e responsáveis
Que códigos usam o computador de controlo climático, os registos de colheita e o ERP para a mesma localização, lote ou cliente, e quem gere cada fonte?
-
Uma fonte em todas as camadas
Carregamos uma fonte em bruto, ligamo-la através das chaves partilhadas e disponibilizamos uma tabela que permite tomar decisões.
-
Ligar e gerir
As fontes e instalações seguintes reutilizam as mesmas pipelines. Depois, a sua equipa gere a plataforma, ou tratamos nós disso.
As nossas exportações de dados ainda são suficientes ou está na altura de ter uma plataforma de dados?
É adequado se
Dispõe de dados de sensores de estufas, câmaras frigoríficas ou máquinas, além de um sistema ERP e de um sistema de planeamento, e pretende comparar vários locais da mesma forma.
Não é adequado se
Procura um data engineer para trabalhar temporariamente com a sua equipa: nesse caso, a colocação temporária de um profissional é mais adequada. Se todos os dados vierem de um único sistema com bons relatórios, não precisa de uma plataforma.
O que determina a dimensão do projeto
O número de fontes e locais, a frequência com que os sensores fazem medições, a quantidade de dados históricos incluídos, se o seu sistema ERP permite uma integração ou apenas exportações, e quem gere a plataforma após a entrada em produção.
A quem pertencem os dados dos equipamentos da estufa?
Os fornecedores de sistemas para estufas e máquinas por vezes armazenam os dados na sua própria cloud. O Data Act confere aos utilizadores de produtos conectados o direito de acesso a esses dados. Cabe ao seu consultor jurídico avaliar o que isso significa para os seus contratos.
Portal do fornecedor, data warehouse ou lakehouse: onde ficam os seus dados de sensores?
Portal do fornecedor
Escolha esta opção se apenas precisa de consultar os dados por estufa ou máquina e não precisa de combinar as medições com encomendas ou custos. Nesse caso, basta o que o fornecedor já disponibiliza.
Data warehouse
Escolha esta opção se reúne sobretudo dados de ERP, planeamento e financeiros em tabelas fixas. Saiba mais sobre a criação de um data warehouse.
Lakehouse
Escolha esta opção se precisa de juntar séries temporais longas de dados de sensores aos dados de ERP e de executar modelos sobre esses dados. O nosso conselho: comece pelas tabelas que já são usadas para tomar decisões.
Como parceiros da Databricks e da Microsoft, construímos plataformas de dados, também para a Agro Care
A Data Science Lab trabalha com dados e IA desde 2016, a partir da Westerdoksdijk, em Amesterdão. Como parceiros da Databricks, com consultores certificados, e da Microsoft, construímos plataformas de dados, nomeadamente para a Agro Care, a Vivara e a Fokker Services Group.

Uma lista dos seus sistemas de origem e localizações é suficiente para a primeira conversa
Stef Stoelwinder
Desenvolvimento de NegócioStef é o seu primeiro ponto de contacto. Na primeira conversa, falamos das suas fontes, das suas localizações e da questão para a qual ainda recorre a exportações para orientar as suas decisões.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Que sistemas e locais pretende reunir numa única plataforma de dados?
Indique os seus sistemas de origem, sensores e instalações. Respondemos por e-mail ou agendamos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Constrói e gere as pipelines e a plataforma de dados que reúnem, de forma fiável e num só lugar, dados de medição, dados do ERP e dados de planeamento para relatórios e modelos. Um data engineer assegura que os dados de cada fonte chegam a tempo, que os códigos são compatíveis e que os erros são detetados.
Na Greenport West-Holland, uma rede de empresas, entidades públicas e instituições de conhecimento do setor hortícola, decorrem programas de robotização, digitalização e logística de produtos frescos. Saiba mais sobre o serviço na página de data engineering.
A Agro Care é um dos principais produtores de tomate da Europa. Segundo o seu site, a sede da Agro Care Growers em Wateringen coordena de forma centralizada as suas unidades de produção, incluindo, nos Países Baixos, unidades em Westland, Middenmeer e Rilland.
Para a Agro Care, estamos a desenvolver uma plataforma de dados que utiliza um data warehouse, com Databricks. O objetivo é armazenar todos os dados de forma centralizada e disponibilizá-los facilmente para BI e data science.
Através de identificadores que têm o mesmo significado em todas as fontes. O computador de controlo climático identifica uma secção de cultivo, o registo da colheita identifica um lote e o ERP identifica um artigo e um cliente. Registamos numa tabela de correspondência que código pertence a cada local, lote ou cliente, e quem é responsável por manter essa tabela.
Só depois é possível comparar uma série de medições com uma entrega. Sem esta definição comum, os números podem parecer certos até alguém comparar duas unidades.
Nesse caso, trabalha-se com snapshots: cada exportação é comparada com a anterior e só as alterações seguem para a etapa seguinte. Em Databricks, AUTO CDC FROM SNAPSHOT faz esse trabalho; AUTO CDC processa um fluxo de alterações quando existe um.
Ambos permitem manter uma tabela como SCD type 1, que conserva apenas a versão mais recente, ou SCD type 2, que acrescenta uma nova linha para cada versão. O tipo 2 permite ver a que cliente ou secção pertencia um lote na altura.
A Portbase é o Port Community System dos portos neerlandeses e uma subsidiária das autoridades portuárias de Amesterdão e Roterdão. A plataforma reúne, entre outros, as notificações de contentores para transporte terrestre e o estado da carga recebida.
Os dados a que pode aceder e a forma de o fazer são acordados com a Portbase. Depois, tratamo-los como mais uma fonte, a par do ERP. Saiba mais sobre os dados na cadeia logística na página de mobilidade e logística.
Muitas vezes, sim, e desde 12 de setembro de 2025 existe um direito nesse sentido. Segundo a Comissão Europeia, o Data Act dá aos utilizadores de produtos inteligentes e conectados o direito de aceder aos dados gerados pela sua utilização e de os partilhar com terceiros.
Cabe ao seu jurista avaliar o que isto significa para o contrato com o fornecedor. Configuramos a ingestão de dados de modo a que seja sempre claro de que instalação provém cada série de dados.
Sim. Em Roterdão, utilizámos câmaras para captar o processo de alimentação na Floating Farm e trabalhámos na Botlekbrug para a Rijkswaterstaat. Foram projetos de IA; pode encontrar esses casos de estudo nas páginas empresa de data science em Roterdão e consultor de IA em Roterdão.
O nosso escritório fica na Westerdoksdijk, em Amesterdão. Após a entrada em funcionamento, asseguramos a gestão e melhoria contínua da plataforma, ou a sua própria equipa assume essa responsabilidade.
Quando os relatórios vêm de um único sistema e os dados de medição só são necessários no ecrã do produtor ou operador. Nesse caso, basta um relatório gerado no sistema de origem ou no portal do fornecedor. Uma pipeline também não corrige um sensor que mede incorretamente.
Se precisa de alguém para trabalhar temporariamente na sua equipa, consulte contratar um data engineer. Se pretende comparar fornecedores, consulte a nossa lista de empresas de data engineering.
Serviço, um engenheiro na sua equipa ou arquitetura: o que ler a seguir?
- Data engineeringComo recolhemos e processamos dados de diferentes sistemas e os disponibilizamos para relatórios e IA.
- Contratar um engenheiro de dadosUm dos nossos colegas integra-se temporariamente na sua equipa para ajudar a construir pipelines e uma plataforma.
- Contratar a construção de um data lakehouseComo as séries temporais de sensores e as tabelas ERP são reunidas numa única camada de armazenamento, organizada em bronze, prata e ouro.