Desenvolvimento de machine learning

Machine learning é uma forma de IA em que um modelo aprende padrões a partir de exemplos presentes nos dados, em vez de seguir regras escritas por uma pessoa. Usa o que aprendeu para prever ou reconhecer algo em novos casos.

Na aprendizagem supervisionada, o modelo aprende com exemplos cujo resultado é conhecido: uma categoria (classificação) ou um número (regressão). Na aprendizagem não supervisionada, não há um resultado conhecido e o modelo identifica grupos ou anomalias por si. Machine learning faz parte das aplicações de IA que desenvolvemos.

Machine learning abrange uma família de técnicas, e dedicamos uma página a cada tipo. Para contar ou inspecionar objetos em imagens, usa-se computer vision; no caso da GVB, esta técnica conta passageiros nas imagens das câmaras de segurança. A classificação e pesquisa de textos fazem parte de NLP e análise de texto.

A previsão da procura ou dos níveis de stock chama-se forecasting. Com predictive maintenance, os dados dos ativos permitem prever quando é necessária manutenção. Na otimização do planeamento, data science e otimização ajudam a criar um plano exequível. A identificação de anomalias, como uma fatura incorreta, chama-se anomaly detection.

Comparando-o com uma referência simples, como prever sempre o resultado mais frequente ou aplicar a regra que já utiliza. Se o modelo não superar claramente essa referência, não compensa usá-lo. Quando os dados têm uma sequência temporal, treinamos o modelo com dados do passado e testamo-lo num período posterior; caso contrário, o modelo aprende com o futuro.

Quando um resultado é raro, a percentagem de respostas corretas diz pouco. Por isso, medimos a precisão — a proporção de alertas justificados — e o recall — a proporção de casos reais que o modelo identifica. A importância de cada medida depende do custo de um caso não detetado ou de um falso alarme para a sua organização.

Data leakage significa que, durante o treino, o modelo usa informação que ainda não estaria disponível no momento da previsão. Assim, obtém resultados demasiado bons nos testes, mas fica aquém do esperado em produção. Um exemplo é um campo que só é preenchido depois de uma fatura ter sido rejeitada.

Por isso, dividimos os dados em conjuntos de treino e de teste antes de qualquer processamento e verificamos quando fica disponível a informação de cada coluna. Em produção, aplica-se o mesmo pré-processamento usado no treino; caso contrário, o modelo recebe dados diferentes daqueles com que aprendeu.

Um modelo aprende com dados históricos. Quando surge um novo produto, uma forma de trabalhar diferente ou outro grupo de clientes, os dados de entrada mudam e as previsões tornam-se menos precisas. A isto chama-se drift. Por isso, monitorizamos os dados de entrada e as previsões, e definimos quando o modelo deve ser treinado novamente.

Antes da entrada em produção, defina também quem é responsável pelo modelo, quem recebe alertas em caso de anomalias e quem aprova uma nova versão. Pode ler sobre o funcionamento técnico em MLOps. A gestão pode ficar a cargo da sua equipa ou da nossa, através da gestão e melhoria contínua.

Desenvolvemos o modelo onde os seus dados já se encontram. No Databricks, pode registar experiências e modelos com o MLflow e gerir versões dos modelos no Unity Catalog. No Microsoft Fabric, pode acompanhar os ciclos de treino com o MLflow integrado e guardar as previsões no OneLake, onde o Power BI as lê. Com o LUMC, trabalhamos numa infraestrutura local e soberana.

Assim, mantém as suas opções em aberto: o MLflow é open source, e o código e os modelos ficam no seu próprio sistema de controlo de versões e no seu ambiente. Enquanto parceiros da Databricks e da Microsoft, configuramos a plataforma de dados e IA para que a sua equipa possa assumir a sua gestão.

Se o modelo tratar dados pessoais, aplica-se o RGPD. Segundo a Autoriteit Persoonsgegevens (AP), é obrigatória uma avaliação de impacto sobre a proteção de dados (AIPD) quando utiliza sistemas algorítmicos que tratam dados pessoais, mesmo num projeto-piloto. As pessoas têm direito a uma avaliação humana: uma decisão importante para elas não pode ser tomada de forma exclusivamente automatizada. Para as entidades públicas, a AP remete para o Algoritmeregister.

O Regulamento da IA classifica como de alto risco, entre outros, o software que seleciona currículos e os sistemas de avaliação de risco de crédito. Segundo a Comissão Europeia, as obrigações rigorosas aplicáveis a estes sistemas entram em vigor a 2 de dezembro de 2027. Cabe à sua equipa jurídica ou de conformidade avaliar se o seu modelo se enquadra nesta categoria. Ajudamos a preparar o inventário e a classificação dos riscos; saiba mais em Regulamento da IA.

Quando uma regra fixa já permite tomar uma decisão suficientemente boa; quando o resultado não está registado em lado nenhum e o modelo não tem com que aprender; ou quando a decisão é tão rara que os custos de desenvolvimento e gestão ultrapassam os benefícios. Nesses casos, faz mais sentido usar uma regra no sistema existente ou um bom dashboard.

Um modelo também não resolve problemas numa fonte de dados desorganizada; nesse caso, comece pela fundação de dados. Se não sabe se o problema está nos dados, nos processos ou na organização, comece com uma avaliação de maturidade. Se uma solução mais simples for adequada, dizemo-lo.

Quer começar por comparar empresas? Consulte a nossa seleção das melhores empresas de machine learning.