Ir para o conteúdo

Desenvolvimento de machine learning

Desenvolvemos um modelo de machine learning para uma decisão específica no seu processo e implementamos a monitorização, como fizemos para Rijkswaterstaat.

Desenvolvemos um único pacote de monitorização para todos os modelos de machine learning da Rijkswaterstaat

A Rijkswaterstaat tem vários modelos de IA em produção. Monitorizar manualmente data drift e prediction drift não é escalável, por isso desenvolvemos um pacote genérico para a deteção de drift e outliers. “A DSL encontrou uma solução engenhosa que podemos utilizar com bons resultados.” Nanine Overgaauw, Rijkswaterstaat - SRE Data Science

Leia o caso de estudo

Que decisão pode um modelo ajudar-nos a preparar?

Um colaborador verifica cada fatura, embora a maioria esteja correta. Um modelo aprende com faturas anteriores quanto deve custar o trabalho realizado e apresenta apenas as discrepâncias. A decisão continua a caber ao colaborador, mas este começa pelas exceções.

Agende uma conversa
Medewerker aan haar bureau leest een document na, met een laptop en paperassen ernaast

Entregamos um modelo integrado no trabalho diário, com um responsável definido

Fale connosco sobre o seu desafio

Construído em torno de uma decisão

Começamos pela decisão e pelo custo de um erro. Para a Fokker Services Group, um modelo prevê o valor esperado da fatura com base no trabalho realizado.

Avaliado face a uma regra simples

Cada modelo tem de superar uma referência simples, como a média ou a regra que utiliza atualmente. Se não o conseguir, paramos.

Resultados onde as pessoas trabalham

A previsão surge no sistema ou dashboard que os colaboradores já utilizam. No LUMC, os resultados estão disponíveis numa aplicação fácil de consultar.

Mantido após a entrada em produção

Acompanhamos os dados de entrada e os resultados e definimos quando voltar a treinar o modelo. Na Waternet, mantemos o workflow que coloca os modelos em produção.

Um modelo de teste com os seus dados históricos determina se avançamos

  1. Decisão e tipo de erro

    Que decisão pode melhorar, quem utiliza o resultado e o que é pior: não detetar um caso ou gerar um falso alarme?

  2. Modelo de teste com dados históricos

    Treinamos o modelo com dados mais antigos, testamo-lo num período posterior e comparamo-lo com uma referência simples.

  3. Integração e passagem de responsabilidade

    Integramos o modelo, com monitorização, um responsável e acordos sobre voltar a treiná-lo. Depois, a sua equipa gere-o, ou nós.

O machine learning é adequado para o nosso problema?

Avalie isso numa conversa connosco

É adequado quando

A mesma decisão surge com frequência, os resultados anteriores foram registados e uma regra fixa não é suficiente. Por exemplo, para verificar faturas, classificar ocorrências ou detetar anomalias em dados de sensores.

Não é adequado quando

A decisão surge apenas algumas vezes por ano, os resultados não são registados em lado nenhum ou uma regra simples já funciona bem. Nesse caso, faz mais sentido criar uma regra no sistema existente ou usar um dashboard.

O que determina a dimensão do projeto

O grau de completude e qualidade dos dados, se os resultados já foram registados, quantas fontes ligamos, se o modelo calcula resultados em tempo real ou por lotes e quem fica responsável pela gestão.

Temos dados suficientes?

Isso depende menos da quantidade de dados do que de os resultados terem sido registados e de os dados históricos refletirem a situação atual. Um modelo experimental com os seus próprios dados permite verificar isso antes de integrar seja o que for.

Uma regra fixa, um serviço de IA existente ou um modelo próprio?

Uma regra fixa

Escolha esta opção se a decisão puder ser definida por algumas condições e raramente mudar. Uma regra no sistema existente é mais fácil de explicar e gerir.

Um serviço de IA existente

Escolha esta opção se a tarefa for igual em todas as organizações, como ler campos de faturas. Já existem modelos treinados para isso; veja processamento de documentos com IA.

Um modelo próprio de machine learning

Escolha esta opção se a decisão depender do histórico da sua organização, como encomendas, medições ou comportamento dos clientes. O nosso conselho: comece por uma decisão e uma referência simples com a qual possa comparar os resultados.

Levamos machine learning aos setores ferroviário, da água e da saúde

A Data Science Lab trabalha com dados e IA desde 2016. Estamos sediados em Amesterdão e somos parceiros da Databricks e da Microsoft. Desenvolvemos projetos de machine learning para organizações como ProRail, Waternet, GVB e LUMC.

Agende uma reunião inicial

Na primeira conversa, discutimos qual é o erro que mais pesa

Stef Stoelwinder

Stef Stoelwinder

Desenvolvimento de negócios

Stef é o seu primeiro ponto de contacto. Na primeira conversa, em Amesterdão ou online, discutimos que decisão precisa de ser melhorada e quem vai trabalhar com o resultado.

O que deverá o nosso modelo prever ou reconhecer?

Descreva a decisão e os dados de que dispõe. Responderemos por e-mail ou agendaremos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Machine learning é uma forma de IA em que um modelo aprende padrões a partir de exemplos nos dados, em vez de seguir regras escritas por alguém. Com o que aprendeu, o modelo prevê ou reconhece algo em novos casos.

Na aprendizagem supervisionada, o modelo aprende com exemplos cujo resultado é conhecido: uma categoria (classificação) ou um número (regressão). Na aprendizagem não supervisionada, não há um resultado conhecido e o modelo identifica grupos ou anomalias por si próprio. Machine learning faz parte das aplicações de IA que desenvolvemos.

Machine learning é uma família de técnicas, e cada tipo tem uma página própria no nosso site. Para contar ou inspecionar objetos em imagens, usa-se computer vision; é assim que se contam passageiros nas imagens das câmaras de segurança da GVB. A classificação ou pesquisa de textos pertence ao domínio de NLP e análise de texto.

Prever a procura ou os níveis de stock chama-se forecasting. Com predictive maintenance, prevê quando será necessária manutenção a partir de dados dos ativos. Na otimização do planeamento, data science e otimização ajudam a criar um plano exequível. Identificar anomalias, como uma fatura incorreta, chama-se deteção de anomalias.

Compare-o com uma referência simples, como prever sempre o resultado mais frequente ou aplicar a regra que já usa. Se o modelo não superar claramente essa referência, não compensa utilizá-lo. Quando os dados têm uma sequência temporal, treinamos o modelo com dados do passado e testamo-lo num período posterior; caso contrário, o modelo aprende com o futuro.

Quando um resultado é raro, a proporção de respostas corretas diz pouco. Por isso, medimos a precisão — a proporção de alertas justificados — e o recall — a proporção de casos reais que o modelo encontra. O que pesa mais depende do custo de um caso não detetado ou de um falso alarme para a sua organização.

Data leakage significa que, durante o treino, o modelo utiliza informação que ainda não estaria disponível no momento da previsão. Por isso, obtém resultados demasiado bons nos testes e fica aquém do esperado em produção. Um exemplo é um campo que só é preenchido depois de uma fatura ter sido rejeitada.

Por esse motivo, dividimos os dados em conjuntos de treino e de teste antes de os processar e verificamos quando fica disponível a informação de cada coluna. Em produção, aplica-se o mesmo pré-processamento usado no treino; caso contrário, o modelo recebe dados de entrada diferentes daqueles com que aprendeu.

Um modelo aprende com dados históricos. Se surgir um novo produto, uma forma diferente de trabalhar ou outro grupo de clientes, os dados de entrada mudam e as previsões tornam-se menos precisas. A isto chama-se drift. Por isso, monitorizamos os dados de entrada e as previsões e definimos quando o modelo deve voltar a ser treinado.

Antes da entrada em produção, defina também quem é responsável pelo modelo, quem recebe um alerta em caso de anomalias e quem aprova uma nova versão. Pode ler como isto funciona tecnicamente em MLOps. A gestão pode ficar a cargo da sua equipa ou da nossa, através de gestão e melhoria contínua.

Desenvolvemos o modelo onde os seus dados já estão. No Databricks, pode registar experiências e modelos com MLflow e gerir versões de modelos no Unity Catalog. No Microsoft Fabric, pode acompanhar as execuções de treino com o MLflow integrado e escrever as previsões no OneLake, onde o Power BI as lê. Com o LUMC, trabalhamos numa infraestrutura on-premise e soberana.

Assim, mantém a liberdade de escolha: o MLflow é open source, e o código e os modelos ficam no seu próprio sistema de controlo de versões e no seu ambiente. Enquanto parceiros da Databricks e da Microsoft, configuramos a plataforma de dados e IA para que a sua equipa possa assumir a sua gestão.

Se o modelo tratar dados pessoais, aplica-se o RGPD. Segundo a Autoriteit Persoonsgegevens, a autoridade neerlandesa de proteção de dados, é obrigatória uma avaliação de impacto sobre a proteção de dados (AIPD) quando se utilizam sistemas algorítmicos com dados pessoais, mesmo num projeto-piloto. As pessoas têm direito a uma análise humana: uma decisão importante para elas não pode ser tomada de forma totalmente automatizada. Para as entidades públicas, a autoridade aponta para o Registo de Algoritmos.

O Regulamento da IA classifica, entre outros, o software que seleciona currículos e os sistemas de pontuação de crédito como sendo de risco elevado. Segundo a Comissão Europeia, aplicam-se a estes sistemas obrigações rigorosas a partir de 2 de dezembro de 2027. Cabe à sua equipa jurídica ou de compliance avaliar se o seu modelo se enquadra nesta categoria. Ajudamos a preparar o levantamento e a classificação dos riscos; saiba mais em Regulamento da IA.

Quando uma regra fixa já permite tomar a decisão suficientemente bem; quando o resultado não está registado em lado nenhum e o modelo não tem com que aprender; ou quando a decisão é tão rara que o custo de desenvolver e gerir o modelo supera o benefício. Nesses casos, faz mais sentido aplicar uma regra no sistema existente ou criar um bom dashboard. Um modelo também não resolve problemas numa fonte de dados desorganizada; nesse caso, comece pela fundação de dados. Se não souber onde está o problema — nos dados, nos processos ou na organização — comece por uma avaliação da maturidade de dados. Se uma solução mais simples for adequada, dizemo-lo. Quer começar por comparar empresas? Consulte a nossa lista das melhores empresas de machine learning. Quer integrar um especialista na sua equipa? Leia sobre a contratação de um machine learning engineer. Uma aplicação frequentemente solicitada é a previsão de churn. Se procura um prestador de serviços na região de Brainport, leia sobre a nossa consultora de data science em Eindhoven. Uma aplicação em que um modelo assinala anomalias para análise por um investigador é a deteção de fraude com dados e IA. Duas aplicações: previsão da ocupação para planear a capacidade, e modelos que atribuem pontuações e ordenam resultados na nossa consultora de data science que serve Zwolle. Duas aplicações: previsão do consumo de energia por edifício, e modelos que utilizam imagens de câmaras e dados de medição na nossa consultora de data science que serve Tilburg.