Ir para o conteúdo

Consultora de data engineering em Eindhoven

Reunimos dados de máquinas, sensores, qualidade e ERP em pipelines e num lakehouse, como no ambiente de dados escalável que estamos a criar para a produtora Agro Care.

Um ambiente de dados escalável e estável em Databricks, onde a Agro Care armazena todos os seus dados de forma centralizada

A Agro Care, produtora de tomate, está a dar passos importantes para trabalhar de forma mais orientada por dados. Estamos a desenvolver uma plataforma de dados com um data warehouse que disponibiliza os dados para BI e data science. A Agro Care não está localizada em Brainport; este caso de estudo mostra como fornecemos uma plataforma a um produtor.

Leia o caso de estudo

Como cruzamos os registos das máquinas, os resultados das medições e as encomendas do ERP?

Nas empresas de alta tecnologia e da indústria transformadora de Brainport, os dados das máquinas estão no chão de fábrica, os resultados das medições num sistema de qualidade e as encomendas no ERP. Para identificar a máquina ou o lote de origem de um produto rejeitado, é preciso consultar três sistemas. As pipelines estabelecem essa ligação todos os dias.

Agende uma conversa

Da máquina à encomenda numa única plataforma, com chaves que ligam lotes, linhas de produção e clientes

Fale connosco sobre os seus fluxos de dados

Dados das máquinas sem perturbar a linha de produção

Lemos os dados das máquinas e dos sensores a partir de um historian, de uma exportação ou através de um gateway na sua própria rede, sem interferir com o sistema de controlo.

Resultados das medições ligados a encomendas e lotes

Associamos as medições e os produtos rejeitados no controlo de qualidade ao número da encomenda, ao lote e à máquina, para que seja possível rastrear um desvio até à etapa de produção.

Dos dados brutos aos dados utilizáveis, por camadas

Os dados brutos, limpos e prontos para utilização pelo negócio ficam em camadas separadas. Para a Fokker Services Group, modelamos dados de várias fontes segundo a arquitetura medallion.

Releases e infraestrutura como código

As pipelines e os ambientes são geridos por controlo de versões e entram em produção através de um processo de releases definido, como fizemos para a SNG ao automatizar as releases através do pipeline DTAP.

Primeiro, uma linha de produção da máquina à tabela de relatórios, depois o resto da fábrica

  1. Fontes e chaves

    Identificar as máquinas, os sistemas e as exportações existentes, e a chave que liga cada encomenda, lote e máquina.

  2. Uma linha de ponta a ponta

    Levar uma linha ou grupo de produtos da fonte à tabela, com verificações da atualidade, completude e esquema dos dados.

  3. Expandir e passar a gestão

    Ligar as linhas e unidades seguintes, configurar a monitorização e deixar a gestão com a sua equipa ou connosco.

Os dados da nossa fábrica estão prontos para uma plataforma própria ou devemos começar por outra coisa?

Avalie a questão connosco numa conversa

Faz sentido se

Produz em várias linhas ou instalações, as máquinas já registam dados e as equipas de qualidade, planeamento e finanças querem consultar os mesmos valores por encomenda, lote ou máquina.

Não faz sentido se

Está tudo num único sistema ERP, com relatórios que respondem às necessidades. Ou pretende sobretudo um engenheiro adicional para trabalhar com a sua equipa; nesse caso, a via indicada é a cedência de profissionais.

O que determina a dimensão

O número de linhas, máquinas e instalações; a frequência das medições dos sensores; se as fontes de dados permitem uma ligação ou apenas exportações; a quantidade de dados históricos a incluir; e quem ficará responsável pela gestão depois.

Os dados do chão de fábrica podem sair da fábrica?

As redes das máquinas estão muitas vezes separadas dos sistemas informáticos dos escritórios. Com as suas equipas responsáveis pela gestão de IT e OT, definimos que dados seguem para a plataforma e por que via, ou se os agregamos localmente.

O historian do fornecedor, um data warehouse ou um lakehouse: onde ficam os dados das suas máquinas?

Historian ou MES

Escolha esta opção se analisa sobretudo as tendências de cada máquina e ninguém precisa de cruzar esses dados com os de ERP, planeamento ou qualidade.

Um data warehouse

Escolha esta opção se trabalha com ordens, inventário e finanças, e um resumo dos dados das máquinas por turno ou ordem é suficiente.

Um lakehouse

Escolha esta opção se séries de medições em bruto, dados de qualidade e dados de ERP precisam de ser reunidos para relatórios e modelos. Recomendamos esta opção quando há várias linhas de produção. Leia sobre um data lakehouse.

A partir de Amesterdão, desenvolvemos plataformas de dados para empresas industriais enquanto parceiros da Databricks e da Microsoft

A Data Science Lab desenvolve fundações de dados desde 2016. Enquanto parceiros da Databricks e da Microsoft, desenvolvemos plataformas de dados para a Vivara, a Fokker Services Group e a Agro Care, entre outras empresas.

Agende uma reunião de apresentação

Um resumo das suas máquinas, sistemas e exportações é suficiente para a primeira conversa

Stef Stoelwinder

Stef Stoelwinder

Business Development

Stef é o seu primeiro ponto de contacto. Na primeira conversa, falamos sobre que máquinas e sistemas fornecem dados, onde estes estão atualmente armazenados e por que linha começar.

Que máquina, sistema e exportação devem ser ligados primeiro na sua organização?

Indique-nos que fontes de dados existem no chão de fábrica e nos sistemas informáticos do escritório. Respondemos por e-mail ou propomos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Constrói os fluxos de dados de que dependem os relatórios e os modelos: pipelines provenientes de máquinas, sistemas de qualidade e ERP, um lakehouse ou data warehouse, verificações e permissões de acesso. Em Brainport, trata-se muitas vezes de empresas de alta tecnologia e da indústria transformadora com muitas linhas de produção, variantes de produto e fornecedores.

Se procura um data engineer ou uma plataforma de dados em Eindhoven, disponibilizamos uma equipa para construir o sistema completo e fazer a passagem de conhecimento. Saiba mais sobre o serviço de data engineering.

Apenas lemos os dados; nunca enviamos dados de volta para o sistema de controlo. Muitas vezes, fazemo-lo através do historian ou do MES que já recolhe os dados, ou através de uma gateway instalada na sua rede que só estabelece ligações para o exterior.

As suas equipas de TI e OT determinam qual das opções é permitida. Mostramos o que cada opção exige em termos de rede, permissões e gestão.

Através de um identificador presente em todos os sistemas: um número de encomenda, de lote ou de série, complementado pela máquina e pela data e hora. Se esse identificador faltar numa fonte, trabalhamos com a equipa de produção para definir uma regra consistente que permita obtê-lo.

Só quando essa associação está correta é que um relatório pode mostrar que linha de produção ou material está na origem de um desvio.

É uma organização por camadas: bronze para os dados brutos tal como chegam, prata para os dados tratados e associados, e ouro para as tabelas prontas a usar em relatórios ou modelos. Assim, é possível rastrear os erros até à fonte.

Na Fokker Services Group, reunimos, tratamos e modelamos os dados segundo esta arquitetura, com verificações da qualidade dos dados integradas.

Trabalhamos com Databricks, Microsoft Fabric ou o ambiente que já existe, escolhendo o que melhor se adapta ao seu contexto de TI. Para a Vivara, utilizámos, entre outras ferramentas, Azure, Databricks, dbt e Terraform.

Definimos os pipelines e a infraestrutura como código e fornecemos documentação. Assim, a sua equipa ou outra entidade pode assumir a gestão da plataforma.

Combinamos isso antecipadamente. A sua equipa pode assumir a gestão, com documentação e passagem de conhecimento. Ou podemos continuar a monitorizar e expandir a plataforma com novas linhas de produção, máquinas ou fontes de dados.

Saiba como funciona em gestão e melhoria contínua.

Para modelos baseados nos dados das suas máquinas e da manutenção: consultora de data science em Eindhoven. Para relatórios: especialista em Power BI em Eindhoven. Para IA que funciona em produção: consultora de IA em Eindhoven.

Se quiser primeiro perceber onde os dados podem ser mais úteis à sua fábrica, conheça o nosso consultor de IA em Eindhoven. O mesmo serviço para grandes organizações com muitas fontes de dados está descrito em consultora de data engineering em Utrecht.

Quando um único ERP ou MES já responde às suas questões, ou quando os dados das máquinas são analisados apenas máquina a máquina, sem nunca serem comparados com as encomendas ou os dados de qualidade. Uma plataforma também exige gestão.

Dizemo-lo logo na primeira conversa. Por vezes, basta uma exportação melhor ou uma definição consistente no ERP.