Computer vision numa quinta?

A Floating Farm, em Roterdão, é a primeira quinta flutuante do mundo. As suas prioridades são o bem-estar animal, a circularidade, a sustentabilidade e a inovação. Quisemos explorar o que é possível fazer com computer vision numa quinta. O objetivo? Compreender o processo de alimentação para o otimizar e, por fim, evitar o desperdício de alimento.  

Primeiros passos: recolher dados

Para começar a trabalhar com computer vision, precisávamos de imagens. Começámos por recolher fotografias das zonas de alimentação das vacas. Instalámos câmaras Hikvision porque se integram bem com Python. O que torna este projeto invulgar é a utilização de dois ângulos de câmara diferentes. Assim, conseguimos recolher dados de duas perspetivas, acrescentando desde logo um desafio ao nosso modelo de computer vision.  

Os dois ângulos de câmara diferentes

Hora de classificar

Agora que estamos a recolher imagens, é altura de as classificar, ou seja, fazer image classification. Mas o que é image classification? Consiste em ensinar os computadores a colocar imagens em diferentes categorias. Para isso, são usadas técnicas de machine learning, como deep learning, capazes de reconhecer padrões e características. O modelo treinado pode então analisar novas imagens desconhecidas e prever a que categoria pertencem.

Para os mais técnicos entre nós. Já estamos a imaginar a pergunta… Considerámos técnicas de masking? Sim, mas image classification era mais adequada ao ambiente complexo de uma quinta flutuante. Além disso, era mais eficiente e robusta.

Neste caso, o modelo tem de distinguir corretamente três categorias.

1. Alimento suficiente
2. Alimento insuficiente
3. É preciso aproximar o alimento das vacas

Com esta classificação, o computador consegue analisar imagens das zonas de alimentação das vacas e determinar o que é necessário fazer.

Se houver alimento suficiente, a imagem é classificada como «alimento suficiente». Não é necessária qualquer ação. Se houver pouco ou nenhum alimento, é classificada como «alimento insuficiente». É preciso acrescentar alimento. Se houver muito alimento, mas as vacas não conseguirem chegar-lhe, a imagem é classificada como exigindo que o alimento seja aproximado das vacas.

Rotulagem dos dados

Cada fotografia recolhida tem de ser rotulada para identificar as três categorias: alimento suficiente, alimento insuficiente e necessidade de repor alimento. Este processo de rotulagem é essencial para treinar o modelo de classificação de imagens. Tem de ser feito com rigor e consistência para garantir a fiabilidade do modelo.

Treinar os modelos

Explorámos vários modelos de machine learning para fazer esta classificação com a maior precisão possível. O modelo CNN foi o mais adequado. Os nossos dados provêm de dois ângulos de câmara diferentes, pelo que treinámos três modelos em separado: um para cada ângulo e um terceiro que combina os dados de ambos.

Arquitetura de uma CNN

Medir para conhecer

Ao longo de todo o processo, acompanhámos métricas para avaliar o desempenho do modelo. Analisámos a frequência com que acertava e com que se enganava (medimos accuracy, precision, recall e F1-score), para testar a eficácia do modelo na identificação do estado do alimento.

Há lugar para computer vision numa exploração agrícola?

A Floating Farm é um exemplo de como a inovação e a tecnologia podem contribuir para a sustentabilidade, a eficiência e a produtividade na agricultura. A utilização da classificação de imagens não é apenas uma forma de gerir a alimentação das vacas; abre também novas possibilidades para o setor agrícola.

Os três modelos atingem, em média, uma precisão superior a 85% na classificação do estado da ração. É de notar que os modelos treinados com dados de ângulos de câmara individuais têm um desempenho ligeiramente melhor do que o modelo combinado.

Eis alguns exemplos de teste para os quais o modelo combinado fez previsões. Por baixo de cada imagem, encontra a percentagem de confiança do modelo.

99.99% ração suficiente

100% ração insuficiente

99.46% é necessário aproximar a ração das vacas

Esta abordagem inovadora pode trazer muitas vantagens à agricultura moderna. Torna o processo muito mais eficiente, reduz o desperdício de ração e diminui o trabalho manual. Mais importante ainda, garante que há sempre ração disponível, o que favorece a saúde e a produtividade das vacas. É um passo em que a tecnologia inteligente ajuda a fazer avançar o setor agrícola. Por outras palavras, computer vision numa exploração agrícola? Sem dúvida.

Tem alguma ideia interessante que possa ajudar o setor agrícola a avançar? Contacte-nos; teremos todo o gosto em pensar consigo.