Modelos de imagem que contam, inspecionam e reconhecem em condições reais, monitorizados e mantidos após a entrada em produção.
Com a confiança de organizações de referência
Computer vision é o ramo da IA que permite ao software interpretar imagens e vídeo: detetar, contar, classificar ou delimitar objetos com precisão. A Data Science Lab desenvolve aplicações de computer vision para organizações que atualmente contam, inspecionam ou verificam a olho nu, desde as câmaras e a anotação de dados até à integração com os seus sistemas e à gestão.
Na GVB, os passageiros nos veículos eram contados à mão: um trabalho moroso, sujeito a erros e que dava apenas uma visão pontual. Numa fábrica, um técnico de controlo de qualidade inspeciona amostras no fim do turno; o que lhe escapa é detetado pelo cliente. Uma câmara associada a um modelo pode fazer esse trabalho continuamente, desde que o modelo consiga lidar com as condições reais.
Um modelo padrão treinado com algumas boas fotografias pode dar origem a uma demonstração convincente. Em produção, falha devido ao que faltava nessas fotografias: contraluz, reflexos, uma lente suja, uma câmara reposicionada após a manutenção ou um novo produto. Por isso, as imagens de treino devem refletir o ambiente real, em diferentes horas do dia, estações do ano, condições meteorológicas e ângulos de visão.
Um projeto de computer vision começa pelo local onde a câmara está instalada e pela decisão que se pretende melhorar, não pelo modelo. Insere-se nas aplicações de IA que desenvolvemos.
Um modelo de deteção desenha uma caixa à volta de cada objeto que reconhece: uma pessoa, um veículo ou uma palete. Ao seguir cada objeto em imagens sucessivas, pode contar o que passa ou está presente sem que ninguém tenha de analisar as imagens.
Na classificação, a imagem inteira recebe uma etiqueta, como aprovado ou rejeitado. Para a Floating Farm, usamos a classificação de imagens para compreender o processo de alimentação. A etiquetagem é mais simples do que na deteção, mas o modelo não indica onde se encontra um objeto.
A segmentação delimita, pixel a pixel, as partes da imagem que pertencem a um objeto. É necessária quando a forma ou a área importam, como ao medir a extensão de um dano. A etiquetagem dá mais trabalho, porque é preciso desenhar o contorno com precisão.
A resolução, o ângulo de visão, a iluminação e a frequência de captura determinam o que um modelo consegue ver. Por isso, os dados de treino devem incluir imagens com contraluz, reflexos, falta de nitidez e imagens noturnas. Por vezes, uma luz adicional ou outra posição da câmara traz mais benefícios do que um modelo maior.
Um modelo aprende com exemplos etiquetados. Definimos instruções para casos-limite, como objetos parcialmente tapados ou cortados, e pedimos a várias pessoas que avaliem os casos duvidosos. Na deteção, todos os objetos têm de estar etiquetados; uma imagem parcialmente etiquetada ensina ao modelo algo errado.
Num dispositivo junto à câmara, designado edge, processa as imagens localmente e envia apenas contagens ou alertas. Isto reduz o uso de largura de banda, funciona offline e mantém as imagens no local. A cloud oferece mais capacidade de processamento, mas as imagens têm então de ser transmitidas.
Descreva o local e a decisão. Avaliamos em conjunto se computer vision é a ferramenta certa.
Definimos que decisão precisa de melhorar, o que o modelo tem de identificar para a apoiar e qual dos erros é mais grave: uma deteção falhada ou um falso alarme.
Recolhemos imagens das câmaras reais, em diferentes momentos e condições de iluminação. Quando necessário, aconselhamos sobre a posição das câmaras, as lentes ou a iluminação.
Com instruções claras para a anotação, criamos um conjunto de treino e um conjunto de teste separado com situações difíceis que o modelo não vê durante o treino.
Medimos a precisão (quantos alertas estão corretos) e o recall (quantos casos reais o modelo encontra) para cada condição, como o dia e a noite.
Implementamos o modelo onde melhor se adapta aos requisitos de largura de banda, privacidade e gestão, e enviamos o resultado para o sistema em que as pessoas trabalham.
Após a entrada em produção, acompanhamos os resultados e um membro da equipa analisa amostras. Assim, detetamos sinais de drift e voltamos a treinar o modelo com novas imagens anotadas.
É muito bom participar neste projeto Data for Good desde o início. Uma solução de dados end-to-end, desde a montagem e instalação das câmaras por nós próprios até à implementação do nosso modelo de computer vision.
Assim que é possível identificar pessoas nas imagens, está a tratar dados pessoais e aplica-se o RGPD. Se as câmaras estiverem instaladas no local de trabalho, precisa de um fundamento jurídico, muitas vezes o interesse legítimo. Tem de informar os trabalhadores e obter a aprovação da comissão de trabalhadores ou dos representantes dos trabalhadores. Não é permitido usar as imagens para controlar a forma como os trabalhadores desempenham as suas funções. O reconhecimento facial é, em regra, proibido, salvo exceção prevista na lei, e o Regulamento da IA proíbe o reconhecimento de emoções no local de trabalho e no ensino, exceto por razões médicas ou de segurança. No caso de monitorização sistemática e em grande escala de espaços acessíveis ao público, é obrigatória uma DPIA.
Por isso, vale a pena conceber o sistema de modo a gerar o mínimo possível de dados pessoais: tratar os dados junto à câmara sempre que possível, guardar apenas contagens e não conservar as imagens se não forem necessárias. Na GVB, as imagens das câmaras de segurança não são vistas nem partilhadas; são apenas analisadas pelo modelo. Cabe ao responsável pela privacidade ou ao jurista avaliar se a sua aplicação é permitida e com que fundamento jurídico.
Um modelo pode ter um desempenho diferente na prática do que no conjunto de teste, e esse desempenho pode mudar: as estações do ano, os novos produtos e as câmaras deslocadas alteram as imagens que recebe. A isso chama-se drift. A monitorização integrada do Azure Machine Learning está orientada para dados tabulares, pelo que, para as imagens, configuramos os nossos próprios indicadores, como a distribuição das pontuações de confiança e o número de deteções por hora. Para a Rijkswaterstaat, desenvolvemos um pacote genérico de monitorização para detetar drift e outliers em modelos em produção.
Qualquer organização pode iniciar um projeto-piloto de IA. O desafio está no passo seguinte: integrar a IA na organização. É aí que a Data Science Lab faz a diferença.
Saiba mais sobre nós
10+
8,7
200+
Computer vision é o ramo da IA que permite ao software interpretar imagens e vídeo. As principais tarefas são a classificação (o que aparece na imagem), a deteção (onde se encontra cada objeto) e a segmentação (que píxeis pertencem a cada objeto). Contar exige uma abordagem diferente de medir a extensão de um dano, pelo que é a questão a resolver que determina a tarefa.
Depende da tarefa, do número de classes e da variação das condições. Com um modelo pré-treinado e transfer learning, pode começar com menos imagens próprias. A variedade é pelo menos tão importante como a quantidade: imagens de uma única manhã de sol pouco ensinam a um modelo sobre as condições noturnas. Depois de uma avaliação inicial, podemos dar uma resposta mais concreta.
Sim, se a resolução, o ângulo de visão e a frequência de imagens forem adequados ao que o modelo precisa de ver. No GVB, as imagens das câmaras de segurança dos veículos são usadas para contar passageiros. Para a Floating Farm, instalámos as câmaras. Primeiro, avaliamos as imagens existentes.
Ambas as opções são possíveis. O processamento junto da câmara faz sentido quando a ligação é limitada, é necessária uma resposta rápida ou as imagens não podem sair do local; nesse caso, só é enviado o resultado. A cloud oferece mais capacidade de processamento. Também é possível combinar as duas opções: executar o modelo localmente e implementá-lo e monitorizá-lo a partir da cloud.
Depende da finalidade, do local e do fundamento jurídico. Contar pessoas é diferente de identificar quem são: segundo o RGPD, os dados só são considerados biométricos se um tratamento técnico permitir ou confirmar a identificação inequívoca de uma pessoa. A identificação biométrica à distância e, quando permitido, o reconhecimento de emoções são classificados como de alto risco ao abrigo do Regulamento da IA, com obrigações aplicáveis a partir de 2 de dezembro de 2027. Ajudamos a avaliar o que está envolvido e a classificar os riscos; a decisão cabe ao seu jurista ou departamento de conformidade.
Através de monitorização, verificações por amostragem e novo treino quando o ambiente muda, mantendo também as etiquetas, o conjunto de teste e o modelo sob controlo próprio. As plataformas também mudam: a Microsoft descontinuou a etiquetagem de dados no Azure Machine Learning em 30 de setembro de 2026 e continuará a dar suporte ao Custom Vision até 25 de setembro de 2028. Podemos gerir as aplicações que desenvolvemos através de gestão e melhoria contínua.
Se um sensor simples, como uma barreira fotoelétrica, uma célula de carga ou um leitor de códigos de barras, medir diretamente a mesma coisa, será mais fácil de gerir do que um modelo de análise de imagens. Outra abordagem também costuma ser mais sensata para acontecimentos raros, dos quais quase não existem imagens de exemplo, ou quando os erros podem ter consequências graves e não há supervisão humana. Por vezes, basta melhorar o registo no sistema existente.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Descreva o local, as câmaras e a decisão que pretende melhorar. Avaliamos em conjunto se computer vision é a abordagem certa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
