NLP e análise de texto

Neste contexto, NLP significa processamento de linguagem natural: técnicas que permitem a um computador processar linguagem. Não se trata de programação neurolinguística usada em coaching. Text mining e análise de texto são aplicações de NLP: permitem descobrir os temas presentes em grandes volumes de texto, como as pessoas vivem uma experiência e que nomes ou conceitos são mencionados.

Para nós, NLP faz parte de data science, uma das nossas aplicações de IA.

Os computadores trabalham com números, por isso é preciso converter primeiro o texto. Os embeddings transformam uma palavra ou frase numa sequência de números que representa o seu significado, colocando ‘animal’ e ‘bicho’ próximos um do outro. Depois, pode treinar um modelo de classificação com exemplos de cada tema ou deixar que um modelo de tópicos, como o BERTopic, encontre grupos por si só.

Para a WUA, combinámos NLP, embeddings e machine learning num modelo de classificação de tópicos. Explicamos como funcionam os embeddings no nosso artigo O poder dos embeddings.

De preferência, na plataforma onde os seus dados já se encontram. No Databricks, pode usar AI Functions em SQL, como ai_classify para classificar texto, ai_analyze_sentiment para analisar o sentimento e ai_mask para ocultar dados. O Azure Language da Microsoft oferece, entre outras funcionalidades, deteção de dados pessoais e reconhecimento de entidades nomeadas, que identifica nomes e conceitos.

Desenvolvemos os nossos próprios modelos em Python, por exemplo com base no modelo de língua neerlandesa RobBERT. Enquanto parceiros da Databricks e da Microsoft, escolhemos o que melhor se adapta à sua plataforma e à forma como a gere.

Testando-o com textos que já foram classificados por pessoas e que o modelo nunca viu. Para cada tema, analisa-se a precisão: quando o modelo escolhe esse tema, quantas vezes acerta? E o recall: quantos dos textos sobre esse tema consegue identificar?

Peça também a dois colegas que classifiquem o mesmo conjunto. Nos casos em que discordarem, as categorias ainda não estão suficientemente claras para um modelo. Avalie separadamente os temas com poucos exemplos, porque uma média de todos os temas oculta o seu desempenho.

O texto livre pode conter mais do que aquilo que foi pedido: um nome, um número de cliente ou informações sobre a saúde de alguém. Segundo a Autoriteit Persoonsgegevens, os números de cliente e de funcionário também são dados pessoais, e o tratamento de dados de saúde é proibido, salvo quando se aplica uma exceção legal.

Identificamos e ocultamos esses dados antes de o texto entrar no modelo e documentamos onde ocorre o tratamento. Cabe ao responsável pela privacidade ou ao encarregado da proteção de dados da sua organização avaliar se o tratamento é permitido.

Depende das decisões para as quais o resultado é usado. A Comissão Europeia dá como exemplo de aplicação de alto risco o software que ordena CV durante o recrutamento. Na sequência do pacote omnibus da IA, as regras mais rigorosas para essas aplicações aplicam-se a partir de 2 de dezembro de 2027. Classificar reclamações para um relatório é diferente de selecionar candidatos a emprego.

Um modelo de texto também pode reproduzir preconceitos presentes nos seus dados de treino, como descrevemos no nosso artigo sobre enviesamento de género nos dados. A interpretação jurídica cabe ao jurista ou ao departamento de conformidade da sua organização. Podemos ajudar a fazer o levantamento das aplicações, a preparar a classificação de risco e a definir a governação da IA.

A análise de texto examina muitos textos em simultâneo: que temas se repetem e como evolui o sentimento. Se o objetivo for extrair campos de um único documento, como o valor de uma fatura, a automatização do processamento de documentos com IA é mais adequada.

Se pretende que os colaboradores façam perguntas sobre documentos internos, isso enquadra-se na IA generativa, como no caso do Anthony Chat para a Fokker Services Group. Se a IA tiver de executar autonomamente etapas de um processo, leia sobre IA agêntica.

Quando há pouco texto ou quando uma lista de opções resolve o problema: deixe que as pessoas escolham uma categoria e reserve o campo aberto para explicações adicionais. Um modelo também não acrescenta valor se ninguém utilizar os seus resultados.

Por vezes, basta um dashboard baseado nos campos de seleção existentes. Se não souber ao certo onde está a dificuldade — nos dados, nos processos ou na organização — comece por uma avaliação da maturidade.