Desenvolvimento de machine learning
Desenvolvemos um modelo de machine learning para uma decisão específica no seu processo e implementamos a monitorização, como fizemos para Rijkswaterstaat.
Desenvolvemos um único pacote de monitorização para todos os modelos de machine learning da Rijkswaterstaat
A Rijkswaterstaat tem vários modelos de IA em produção. Monitorizar manualmente data drift e prediction drift não é escalável, por isso desenvolvemos um pacote genérico para a deteção de drift e outliers. “A DSL encontrou uma solução engenhosa que podemos utilizar com bons resultados.” Nanine Overgaauw, Rijkswaterstaat - SRE Data Science
Que decisão pode um modelo ajudar-nos a preparar?
Um colaborador verifica cada fatura, embora a maioria esteja correta. Um modelo aprende com faturas anteriores quanto deve custar o trabalho realizado e apresenta apenas as discrepâncias. A decisão continua a caber ao colaborador, mas este começa pelas exceções.
Entregamos um modelo integrado no trabalho diário, com um responsável definido
Construído em torno de uma decisão
Começamos pela decisão e pelo custo de um erro. Para a Fokker Services Group, um modelo prevê o valor esperado da fatura com base no trabalho realizado.
Avaliado face a uma regra simples
Cada modelo tem de superar uma referência simples, como a média ou a regra que utiliza atualmente. Se não o conseguir, paramos.
Resultados onde as pessoas trabalham
A previsão surge no sistema ou dashboard que os colaboradores já utilizam. No LUMC, os resultados estão disponíveis numa aplicação fácil de consultar.
Mantido após a entrada em produção
Acompanhamos os dados de entrada e os resultados e definimos quando voltar a treinar o modelo. Na Waternet, mantemos o workflow que coloca os modelos em produção.
Um modelo de teste com os seus dados históricos determina se avançamos
-
Decisão e tipo de erro
Que decisão pode melhorar, quem utiliza o resultado e o que é pior: não detetar um caso ou gerar um falso alarme?
-
Modelo de teste com dados históricos
Treinamos o modelo com dados mais antigos, testamo-lo num período posterior e comparamo-lo com uma referência simples.
-
Integração e passagem de responsabilidade
Integramos o modelo, com monitorização, um responsável e acordos sobre voltar a treiná-lo. Depois, a sua equipa gere-o, ou nós.
O machine learning é adequado para o nosso problema?
É adequado quando
A mesma decisão surge com frequência, os resultados anteriores foram registados e uma regra fixa não é suficiente. Por exemplo, para verificar faturas, classificar ocorrências ou detetar anomalias em dados de sensores.
Não é adequado quando
A decisão surge apenas algumas vezes por ano, os resultados não são registados em lado nenhum ou uma regra simples já funciona bem. Nesse caso, faz mais sentido criar uma regra no sistema existente ou usar um dashboard.
O que determina a dimensão do projeto
O grau de completude e qualidade dos dados, se os resultados já foram registados, quantas fontes ligamos, se o modelo calcula resultados em tempo real ou por lotes e quem fica responsável pela gestão.
Temos dados suficientes?
Isso depende menos da quantidade de dados do que de os resultados terem sido registados e de os dados históricos refletirem a situação atual. Um modelo experimental com os seus próprios dados permite verificar isso antes de integrar seja o que for.
Uma regra fixa, um serviço de IA existente ou um modelo próprio?
Uma regra fixa
Escolha esta opção se a decisão puder ser definida por algumas condições e raramente mudar. Uma regra no sistema existente é mais fácil de explicar e gerir.
Um serviço de IA existente
Escolha esta opção se a tarefa for igual em todas as organizações, como ler campos de faturas. Já existem modelos treinados para isso; veja processamento de documentos com IA.
Um modelo próprio de machine learning
Escolha esta opção se a decisão depender do histórico da sua organização, como encomendas, medições ou comportamento dos clientes. O nosso conselho: comece por uma decisão e uma referência simples com a qual possa comparar os resultados.
Levamos machine learning aos setores ferroviário, da água e da saúde
A Data Science Lab trabalha com dados e IA desde 2016. Estamos sediados em Amesterdão e somos parceiros da Databricks e da Microsoft. Desenvolvemos projetos de machine learning para organizações como ProRail, Waternet, GVB e LUMC.

Na primeira conversa, discutimos qual é o erro que mais pesa
Stef Stoelwinder
Desenvolvimento de negóciosStef é o seu primeiro ponto de contacto. Na primeira conversa, em Amesterdão ou online, discutimos que decisão precisa de ser melhorada e quem vai trabalhar com o resultado.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
O que deverá o nosso modelo prever ou reconhecer?
Descreva a decisão e os dados de que dispõe. Responderemos por e-mail ou agendaremos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Machine learning é uma forma de IA em que um modelo aprende padrões a partir de exemplos nos dados, em vez de seguir regras escritas por alguém. Com o que aprendeu, o modelo prevê ou reconhece algo em novos casos.
Na aprendizagem supervisionada, o modelo aprende com exemplos cujo resultado é conhecido: uma categoria (classificação) ou um número (regressão). Na aprendizagem não supervisionada, não há um resultado conhecido e o modelo identifica grupos ou anomalias por si próprio. Machine learning faz parte das aplicações de IA que desenvolvemos.
Machine learning é uma família de técnicas, e cada tipo tem uma página própria no nosso site. Para contar ou inspecionar objetos em imagens, usa-se computer vision; é assim que se contam passageiros nas imagens das câmaras de segurança da GVB. A classificação ou pesquisa de textos pertence ao domínio de NLP e análise de texto.
Prever a procura ou os níveis de stock chama-se forecasting. Com predictive maintenance, prevê quando será necessária manutenção a partir de dados dos ativos. Na otimização do planeamento, data science e otimização ajudam a criar um plano exequível. Identificar anomalias, como uma fatura incorreta, chama-se deteção de anomalias.
Compare-o com uma referência simples, como prever sempre o resultado mais frequente ou aplicar a regra que já usa. Se o modelo não superar claramente essa referência, não compensa utilizá-lo. Quando os dados têm uma sequência temporal, treinamos o modelo com dados do passado e testamo-lo num período posterior; caso contrário, o modelo aprende com o futuro.
Quando um resultado é raro, a proporção de respostas corretas diz pouco. Por isso, medimos a precisão — a proporção de alertas justificados — e o recall — a proporção de casos reais que o modelo encontra. O que pesa mais depende do custo de um caso não detetado ou de um falso alarme para a sua organização.
Data leakage significa que, durante o treino, o modelo utiliza informação que ainda não estaria disponível no momento da previsão. Por isso, obtém resultados demasiado bons nos testes e fica aquém do esperado em produção. Um exemplo é um campo que só é preenchido depois de uma fatura ter sido rejeitada.
Por esse motivo, dividimos os dados em conjuntos de treino e de teste antes de os processar e verificamos quando fica disponível a informação de cada coluna. Em produção, aplica-se o mesmo pré-processamento usado no treino; caso contrário, o modelo recebe dados de entrada diferentes daqueles com que aprendeu.
Um modelo aprende com dados históricos. Se surgir um novo produto, uma forma diferente de trabalhar ou outro grupo de clientes, os dados de entrada mudam e as previsões tornam-se menos precisas. A isto chama-se drift. Por isso, monitorizamos os dados de entrada e as previsões e definimos quando o modelo deve voltar a ser treinado.
Antes da entrada em produção, defina também quem é responsável pelo modelo, quem recebe um alerta em caso de anomalias e quem aprova uma nova versão. Pode ler como isto funciona tecnicamente em MLOps. A gestão pode ficar a cargo da sua equipa ou da nossa, através de gestão e melhoria contínua.
Desenvolvemos o modelo onde os seus dados já estão. No Databricks, pode registar experiências e modelos com MLflow e gerir versões de modelos no Unity Catalog. No Microsoft Fabric, pode acompanhar as execuções de treino com o MLflow integrado e escrever as previsões no OneLake, onde o Power BI as lê. Com o LUMC, trabalhamos numa infraestrutura on-premise e soberana.
Assim, mantém a liberdade de escolha: o MLflow é open source, e o código e os modelos ficam no seu próprio sistema de controlo de versões e no seu ambiente. Enquanto parceiros da Databricks e da Microsoft, configuramos a plataforma de dados e IA para que a sua equipa possa assumir a sua gestão.
Se o modelo tratar dados pessoais, aplica-se o RGPD. Segundo a Autoriteit Persoonsgegevens, a autoridade neerlandesa de proteção de dados, é obrigatória uma avaliação de impacto sobre a proteção de dados (AIPD) quando se utilizam sistemas algorítmicos com dados pessoais, mesmo num projeto-piloto. As pessoas têm direito a uma análise humana: uma decisão importante para elas não pode ser tomada de forma totalmente automatizada. Para as entidades públicas, a autoridade aponta para o Registo de Algoritmos.
O Regulamento da IA classifica, entre outros, o software que seleciona currículos e os sistemas de pontuação de crédito como sendo de risco elevado. Segundo a Comissão Europeia, aplicam-se a estes sistemas obrigações rigorosas a partir de 2 de dezembro de 2027. Cabe à sua equipa jurídica ou de compliance avaliar se o seu modelo se enquadra nesta categoria. Ajudamos a preparar o levantamento e a classificação dos riscos; saiba mais em Regulamento da IA.
Que aplicação de IA se adequa à sua necessidade?
- Aplicações de IAUma visão geral das nossas aplicações de IA, de data science a IA generativa e business intelligence.
- Data scienceDe modelos preditivos a computer vision e processamento de linguagem: o que abrange a data science.
- Predictive maintenanceComo um modelo utiliza dados dos ativos para prever quando é necessária manutenção.