NLP e análise de texto
Natural language processing que classifica textos por tema, como as respostas abertas dos inquiridos da WUA, desenvolvido em sprints com revisões.
A WUA classifica automaticamente as respostas abertas dos inquiridos por tema
“Estou muito satisfeito com a colaboração. A comunicação próxima e as sprint reviews detalhadas garantiram que o modelo correspondia exatamente às nossas necessidades, o que resultou num lançamento bem-sucedido junto dos nossos clientes.” Yannick Ludwig, Diretor de Produto
Quem lê todas essas respostas abertas, queixas e ocorrências?
Depois de cada inquérito, um analista abre uma exportação das respostas abertas e atribui manualmente um tema a cada uma no Excel. Com natural language processing, um modelo sugere temas com base nos seus próprios temas.
O texto livre passa a ser uma coluna que pode filtrar e contabilizar
Classificação pelos seus temas
Um modelo classifica cada texto de acordo com os temas que utiliza. Para a WUA, criámos um modelo de classificação por tópicos deste tipo para as respostas abertas dos participantes.
Sentimento por mensagem
Uma resposta é positiva ou negativa? Para a Respect Foundation, o nosso LLM analisou o sentimento da cobertura mediática sobre a Week van Respect.
Relacionar textos
Compare uma nova ocorrência com ocorrências anteriores, ou uma pergunta com uma resposta já disponível. Assim, pode identificar ocorrências duplicadas e temas recorrentes.
Dados pessoais protegidos
O texto livre pode conter um nome, um número de cliente ou informações sobre a saúde de alguém. Identificamos e mascaramos esses dados antes de o texto ser processado.
O modelo segue a forma como as pessoas que atualmente leem os textos os classificam
-
Definir os temas
Em conjunto com as pessoas que atualmente leem os textos, definimos os temas e reunimos exemplos para cada um.
-
Medir abordagens lado a lado
Regras, um modelo treinado ou um modelo de linguagem: medimos o desempenho de cada abordagem por tema, usando um conjunto de teste baseado nos seus próprios textos.
-
Integrado no trabalho e na gestão
Os resultados são integrados no seu dashboard ou sistema. Um colaborador analisa os casos duvidosos e os novos temas.
Temos texto suficiente para criar um modelo?
Adequado se
Recebe regularmente textos que alguém lê e classifica manualmente, como respostas abertas, reclamações, comunicações de ocorrências ou comentários, e pretende responder sempre à mesma pergunta.
Não é adequado se
Há apenas alguns textos por mês, ou a pergunta muda de cada vez. Nesse caso, lê-los diretamente é mais rápido. Se for preciso extrair campos de faturas ou formulários, a tarefa é a extração de dados.
O que determina a dimensão
Quantos tipos de texto e temas existem, quantos exemplos já foram classificados, se é necessário remover dados pessoais, onde o modelo é executado e quem assegura a sua gestão. Da sua parte, são necessários textos e alguém que conheça os temas.
Funciona em neerlandês?
É isso que medimos, porque o jargão, as abreviaturas e os erros ortográficos variam de organização para organização. Além dos modelos de linguagem multilingues, existem modelos para neerlandês, como o RobBERT da KU Leuven. Escolhemos com base nos seus próprios textos.
Palavras-chave, um modelo treinado ou um modelo de linguagem: qual é mais adequado aos seus textos?
Palavras-chave e regras
Escolha esta opção se tiver poucos temas que consegue identificar por palavras específicas. É rápida de criar, mas pode não detetar sinónimos e erros ortográficos.
Modelo de classificação treinado
Escolha esta opção se receber muitos textos e já tiver exemplos classificados. Recomendamo-la para uma classificação fixa, como no modelo para a WUA: o seu desempenho é previsível e pode ser medido por tema.
Modelo de linguagem (LLM)
Escolha esta opção se ainda não tiver exemplos, os temas mudarem frequentemente ou quiser uma breve explicação para cada texto. Avalie cada nova versão com o mesmo conjunto de teste.
Criámos modelos de texto para investigação sobre clientes e uma campanha nacional
A Data Science Lab desenvolve aplicações de dados e IA desde 2016. Com sede em Amsterdam, é parceira da Databricks e da Microsoft. Analisámos texto para a WUA e a Respect Foundation.

Traga alguns textos de exemplo para a primeira reunião
Stef Stoelwinder
Desenvolvimento de NegócioO Stef é o seu primeiro ponto de contacto. Na primeira reunião, falaremos sobre os textos que a sua equipa recebe, como os classifica atualmente e o que pretende fazer com os resultados.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Que textos ainda lê manualmente?
Descreva de que textos se trata e o que pretende saber a partir deles. Receberá uma resposta por e-mail ou agendamos uma primeira conversa.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
Perguntas frequentes
Neste contexto, NLP significa processamento de linguagem natural: técnicas que permitem a um computador processar a linguagem. Não se trata da programação neurolinguística usada em coaching. Text mining e análise de texto são aplicações de NLP: permitem identificar os temas de grandes volumes de texto, perceber como as pessoas vivenciam algo e encontrar os nomes ou conceitos que neles aparecem.
Para nós, NLP insere-se em data science, uma das nossas aplicações de IA.
Um computador trabalha com números, por isso o texto tem primeiro de ser convertido. Os embeddings transformam uma palavra ou frase numa sequência de números que representa o seu significado, colocando ‘animal’ e ‘bicho’ próximos um do outro. Com base nisso, pode treinar um modelo de classificação com exemplos de cada tema ou deixar que um modelo de tópicos, como o BERTopic, encontre grupos por si só.
Para a WUA, combinámos NLP, embeddings e machine learning num modelo de classificação por temas. Saiba como funcionam os embeddings no nosso artigo O poder dos embeddings.
De preferência, na plataforma onde os seus dados já se encontram. No Databricks, pode usar AI Functions em SQL, como ai_classify para classificar, ai_analyze_sentiment para analisar o sentimento e ai_mask para ocultar dados. O Azure Language da Microsoft oferece, entre outras funcionalidades, deteção de dados pessoais identificáveis (PII) e named entity recognition, que identifica nomes e conceitos.
Desenvolvemos modelos próprios em Python, por exemplo com base no modelo de língua neerlandesa RobBERT. Enquanto parceiros da Databricks e da Microsoft, escolhemos o que melhor se adapta à sua plataforma e à respetiva gestão.
Testando-o com textos que já foram classificados por pessoas e que o modelo nunca viu. Para cada tema, avalia-se a precisão: quando o modelo escolhe esse tema, quantas vezes acerta? E também o recall: quantos dos textos sobre esse tema consegue identificar?
Peça também a dois colegas que classifiquem o mesmo conjunto. Se discordarem, as categorias ainda não estão suficientemente definidas para um modelo. Avalie separadamente os temas com poucos exemplos, porque uma média de todos os temas oculta o desempenho nesses casos.
Um texto livre pode conter mais do que aquilo que pediu: um nome, um número de cliente ou informações sobre a saúde de alguém. Segundo a Autoridade Neerlandesa para a Proteção de Dados, os números de cliente e de funcionário também são dados pessoais, e o tratamento de dados de saúde é proibido, salvo se existir uma exceção legal.
Identificamos e ocultamos esses dados antes de o texto entrar no modelo e registamos onde ocorre o tratamento. Cabe ao seu responsável pela privacidade ou encarregado de proteção de dados avaliar se o tratamento é permitido.
Depende das decisões para as quais o resultado é utilizado. A Comissão Europeia apresenta o software que ordena currículos em processos de recrutamento como exemplo de uma aplicação de alto risco. Após o omnibus da IA, as regras mais exigentes para essas aplicações entram em vigor a 2 de dezembro de 2027. Classificar reclamações para elaborar um relatório é diferente de selecionar candidatos a emprego.
Um modelo de texto também pode reproduzir preconceitos presentes nos seus dados de treino, como explicamos no nosso artigo sobre viés de género nos dados. A interpretação jurídica cabe ao seu jurista ou departamento de compliance. Ajudamos a fazer o levantamento, a preparar a classificação de risco e a estabelecer a governação da IA.
A análise de texto examina muitos textos em conjunto: que temas se repetem e como varia o sentimento. Se precisar de extrair campos de um único documento, como o valor de uma fatura, o processamento de documentos com IA é mais adequado.
Se quiser que os colaboradores façam perguntas sobre documentos internos, isso enquadra-se na IA generativa, como acontece com o Anthony Chat para a Fokker Services Group. Se a IA tiver de executar autonomamente etapas de um processo, leia sobre IA agêntica.
Onde se enquadra a análise de texto entre outras aplicações de IA?
- Aplicações de IAA nossa visão geral da IA generativa, data science e business intelligence, e de como as colocamos em produção.
- Processamento de documentos com IASe pretende extrair campos de faturas, formulários ou contratos e validá-los com os seus próprios sistemas.
- O poder dos embeddingsO nosso artigo de blogue sobre como o texto se transforma em números, de bag-of-words à família BERT.