Ir para o conteúdo

NLP e análise de texto

Natural language processing que classifica textos por tema, como as respostas abertas dos inquiridos da WUA, desenvolvido em sprints com revisões.

A WUA classifica automaticamente as respostas abertas dos inquiridos por tema

“Estou muito satisfeito com a colaboração. A comunicação próxima e as sprint reviews detalhadas garantiram que o modelo correspondia exatamente às nossas necessidades, o que resultou num lançamento bem-sucedido junto dos nossos clientes.” Yannick Ludwig, Diretor de Produto

Leia o caso de estudo

Quem lê todas essas respostas abertas, queixas e ocorrências?

Depois de cada inquérito, um analista abre uma exportação das respostas abertas e atribui manualmente um tema a cada uma no Excel. Com natural language processing, um modelo sugere temas com base nos seus próprios temas.

Agende uma conversa
Man wijst naar kolommen met gekleurde notities die op onderwerp zijn gesorteerd

O texto livre passa a ser uma coluna que pode filtrar e contabilizar

Fale connosco sobre os seus textos

Classificação pelos seus temas

Um modelo classifica cada texto de acordo com os temas que utiliza. Para a WUA, criámos um modelo de classificação por tópicos deste tipo para as respostas abertas dos participantes.

Sentimento por mensagem

Uma resposta é positiva ou negativa? Para a Respect Foundation, o nosso LLM analisou o sentimento da cobertura mediática sobre a Week van Respect.

Relacionar textos

Compare uma nova ocorrência com ocorrências anteriores, ou uma pergunta com uma resposta já disponível. Assim, pode identificar ocorrências duplicadas e temas recorrentes.

Dados pessoais protegidos

O texto livre pode conter um nome, um número de cliente ou informações sobre a saúde de alguém. Identificamos e mascaramos esses dados antes de o texto ser processado.

O modelo segue a forma como as pessoas que atualmente leem os textos os classificam

  1. Definir os temas

    Em conjunto com as pessoas que atualmente leem os textos, definimos os temas e reunimos exemplos para cada um.

  2. Medir abordagens lado a lado

    Regras, um modelo treinado ou um modelo de linguagem: medimos o desempenho de cada abordagem por tema, usando um conjunto de teste baseado nos seus próprios textos.

  3. Integrado no trabalho e na gestão

    Os resultados são integrados no seu dashboard ou sistema. Um colaborador analisa os casos duvidosos e os novos temas.

Temos texto suficiente para criar um modelo?

Avalie-o numa conversa

Adequado se

Recebe regularmente textos que alguém lê e classifica manualmente, como respostas abertas, reclamações, comunicações de ocorrências ou comentários, e pretende responder sempre à mesma pergunta.

Não é adequado se

Há apenas alguns textos por mês, ou a pergunta muda de cada vez. Nesse caso, lê-los diretamente é mais rápido. Se for preciso extrair campos de faturas ou formulários, a tarefa é a extração de dados.

O que determina a dimensão

Quantos tipos de texto e temas existem, quantos exemplos já foram classificados, se é necessário remover dados pessoais, onde o modelo é executado e quem assegura a sua gestão. Da sua parte, são necessários textos e alguém que conheça os temas.

Funciona em neerlandês?

É isso que medimos, porque o jargão, as abreviaturas e os erros ortográficos variam de organização para organização. Além dos modelos de linguagem multilingues, existem modelos para neerlandês, como o RobBERT da KU Leuven. Escolhemos com base nos seus próprios textos.

Palavras-chave, um modelo treinado ou um modelo de linguagem: qual é mais adequado aos seus textos?

Palavras-chave e regras

Escolha esta opção se tiver poucos temas que consegue identificar por palavras específicas. É rápida de criar, mas pode não detetar sinónimos e erros ortográficos.

Modelo de classificação treinado

Escolha esta opção se receber muitos textos e já tiver exemplos classificados. Recomendamo-la para uma classificação fixa, como no modelo para a WUA: o seu desempenho é previsível e pode ser medido por tema.

Modelo de linguagem (LLM)

Escolha esta opção se ainda não tiver exemplos, os temas mudarem frequentemente ou quiser uma breve explicação para cada texto. Avalie cada nova versão com o mesmo conjunto de teste.

Criámos modelos de texto para investigação sobre clientes e uma campanha nacional

A Data Science Lab desenvolve aplicações de dados e IA desde 2016. Com sede em Amsterdam, é parceira da Databricks e da Microsoft. Analisámos texto para a WUA e a Respect Foundation.

Agende uma reunião inicial

Traga alguns textos de exemplo para a primeira reunião

Stef Stoelwinder

Stef Stoelwinder

Desenvolvimento de Negócio

O Stef é o seu primeiro ponto de contacto. Na primeira reunião, falaremos sobre os textos que a sua equipa recebe, como os classifica atualmente e o que pretende fazer com os resultados.

Que textos ainda lê manualmente?

Descreva de que textos se trata e o que pretende saber a partir deles. Receberá uma resposta por e-mail ou agendamos uma primeira conversa.

Introduza um endereço de e-mail válido.

Diga-nos como podemos ajudar.

Perguntas frequentes

Neste contexto, NLP significa processamento de linguagem natural: técnicas que permitem a um computador processar a linguagem. Não se trata da programação neurolinguística usada em coaching. Text mining e análise de texto são aplicações de NLP: permitem identificar os temas de grandes volumes de texto, perceber como as pessoas vivenciam algo e encontrar os nomes ou conceitos que neles aparecem.

Para nós, NLP insere-se em data science, uma das nossas aplicações de IA.

Um computador trabalha com números, por isso o texto tem primeiro de ser convertido. Os embeddings transformam uma palavra ou frase numa sequência de números que representa o seu significado, colocando ‘animal’ e ‘bicho’ próximos um do outro. Com base nisso, pode treinar um modelo de classificação com exemplos de cada tema ou deixar que um modelo de tópicos, como o BERTopic, encontre grupos por si só.

Para a WUA, combinámos NLP, embeddings e machine learning num modelo de classificação por temas. Saiba como funcionam os embeddings no nosso artigo O poder dos embeddings.

De preferência, na plataforma onde os seus dados já se encontram. No Databricks, pode usar AI Functions em SQL, como ai_classify para classificar, ai_analyze_sentiment para analisar o sentimento e ai_mask para ocultar dados. O Azure Language da Microsoft oferece, entre outras funcionalidades, deteção de dados pessoais identificáveis (PII) e named entity recognition, que identifica nomes e conceitos.

Desenvolvemos modelos próprios em Python, por exemplo com base no modelo de língua neerlandesa RobBERT. Enquanto parceiros da Databricks e da Microsoft, escolhemos o que melhor se adapta à sua plataforma e à respetiva gestão.

Testando-o com textos que já foram classificados por pessoas e que o modelo nunca viu. Para cada tema, avalia-se a precisão: quando o modelo escolhe esse tema, quantas vezes acerta? E também o recall: quantos dos textos sobre esse tema consegue identificar?

Peça também a dois colegas que classifiquem o mesmo conjunto. Se discordarem, as categorias ainda não estão suficientemente definidas para um modelo. Avalie separadamente os temas com poucos exemplos, porque uma média de todos os temas oculta o desempenho nesses casos.

Um texto livre pode conter mais do que aquilo que pediu: um nome, um número de cliente ou informações sobre a saúde de alguém. Segundo a Autoridade Neerlandesa para a Proteção de Dados, os números de cliente e de funcionário também são dados pessoais, e o tratamento de dados de saúde é proibido, salvo se existir uma exceção legal.

Identificamos e ocultamos esses dados antes de o texto entrar no modelo e registamos onde ocorre o tratamento. Cabe ao seu responsável pela privacidade ou encarregado de proteção de dados avaliar se o tratamento é permitido.

Depende das decisões para as quais o resultado é utilizado. A Comissão Europeia apresenta o software que ordena currículos em processos de recrutamento como exemplo de uma aplicação de alto risco. Após o omnibus da IA, as regras mais exigentes para essas aplicações entram em vigor a 2 de dezembro de 2027. Classificar reclamações para elaborar um relatório é diferente de selecionar candidatos a emprego.

Um modelo de texto também pode reproduzir preconceitos presentes nos seus dados de treino, como explicamos no nosso artigo sobre viés de género nos dados. A interpretação jurídica cabe ao seu jurista ou departamento de compliance. Ajudamos a fazer o levantamento, a preparar a classificação de risco e a estabelecer a governação da IA.

A análise de texto examina muitos textos em conjunto: que temas se repetem e como varia o sentimento. Se precisar de extrair campos de um único documento, como o valor de uma fatura, o processamento de documentos com IA é mais adequado.

Se quiser que os colaboradores façam perguntas sobre documentos internos, isso enquadra-se na IA generativa, como acontece com o Anthony Chat para a Fokker Services Group. Se a IA tiver de executar autonomamente etapas de um processo, leia sobre IA agêntica.

Quando há pouco texto ou quando uma lista de opções resolve o problema: deixe as pessoas escolher uma categoria e reserve o campo aberto para a explicação. Um modelo também não acrescenta valor se ninguém usar os resultados. Por vezes, basta um dashboard baseado nos campos de seleção existentes. Se não souber ao certo se o problema está nos dados, nos processos ou na organização, comece por uma avaliação de maturidade. Se quiser que colaboradores ou clientes façam perguntas sobre os seus documentos, leia sobre a criação de um chatbot de IA. Se for necessário classificar emails recebidos e encaminhá-los para a equipa certa, saiba mais sobre a classificação de emails com IA. Uma aplicação frequente é a classificação de tickets com IA: categorizar automaticamente os pedidos e encaminhá-los para a equipa certa. Se a sua organização estiver sediada em Brabant, conheça a nossa consultoria de IA para Tilburg. Se o que importa sobretudo é o tom das respostas e a forma como muda, leia sobre análise de sentimento.