IA explicável: uma explicação

Imagine que o seu pedido de crédito à habitação é recusado. A primeira pergunta que provavelmente faz é: porquê? Uma entidade que concede crédito à habitação pode explicar por que motivos não reúne as condições para obter o crédito. Mas e se essa decisão for tomada por um modelo de machine learning? Não nos basta ouvir “o computador diz que não”. A falta de uma explicação é problemática e afeta várias partes interessadas. Para a pessoa a quem a decisão diz respeito, é importante que o raciocínio possa ser explicado. Também é preciso evitar que a decisão assente, por exemplo, em discriminação não intencional: ninguém deve ser recusado com base na sua etnia. Para os profissionais de data science e data engineering que treinam um modelo, compreender o seu comportamento é essencial para detetar eventuais erros ou pontos fracos. A IA explicável (XAI) pode ajudar a melhorar um modelo. Deparamo-nos cada vez mais com sistemas automatizados que utilizam algoritmos de machine learning. Estes são usados, entre outros, por organismos públicos, pelo setor financeiro e pelos serviços de saúde. E há boas razões para isso. Em muitos casos, estes algoritmos têm um bom desempenho, por vezes até melhor do que uma pessoa. Mas podemos confiar cegamente num modelo com uma precisão de 90% ou superior, ou devemos perguntar-nos como chegou o algoritmo à sua decisão? Nos últimos anos, a investigação sobre XAI aumentou significativamente. A ética na inteligência artificial passou a receber mais atenção. Talvez porque a IA é utilizada a uma escala cada vez maior e aplicada com mais frequência a decisões importantes, mas também porque os algoritmos se tornam cada vez mais complexos. Complexos demais para serem compreendidos. Será então a XAI a solução?

O que é a explicabilidade?

Comecemos por definir o conceito de explicabilidade . Infelizmente, (ainda) não existe uma definição consensual. Na literatura, é geralmente utilizada a seguinte definição: “o grau em que uma pessoa consegue compreender a causa de uma decisão” [1]. Trata-se aqui de uma decisão tomada por um modelo de machine learning ou por um algoritmo. Em geral, podemos distinguir dois tipos de explicabilidade:

Explicabilidade ante hoc

Explicabilidade desde a conceção. Neste caso, desenvolve-se um modelo que é transparente por natureza. Pense, por exemplo, numa árvore de decisão simples ou num modelo linear simples. Estes modelos são fáceis de compreender e, por isso, ‘explicáveis’: conseguimos perceber como chegam a uma decisão.

Explicabilidade post-hoc

Mas o que fazer quando um modelo não é transparente? Chama-se a esse modelo uma ‘caixa negra’: apenas os dados de entrada e os resultados são visíveis, e não sabemos o que acontece no seu interior. Neste caso, pode optar pela explicabilidade post-hoc: geramos uma explicação para um modelo de caixa negra já existente que, por si só, não é ‘explicável’. Para isso, recorre-se frequentemente a outro algoritmo para explicar o algoritmo original de caixa negra e, de certa forma, abrir essa caixa.

Qual é a opção preferível?

Um modelo simples que já é explicável costuma ser preferível a uma rede neuronal complexa que ainda precisa de ser explicada com recurso a técnicas de XAI post-hoc. No entanto, há muitas situações em que um modelo mais simples não é suficiente e simplesmente não consegue atingir o desempenho de um modelo mais complexo. Surge então um compromisso entre precisão e explicabilidade: é preciso ponderar o desempenho de um modelo face à facilidade de o explicar. Como mostra a figura abaixo, uma maior explicabilidade implica muitas vezes uma menor precisão do modelo.

Uma grande vantagem dos métodos post-hoc é que não é preciso sacrificar o desempenho: mantemos o modelo tal como está e acrescentamos posteriormente uma técnica capaz de gerar uma explicação. Assim, é possível usar uma rede neuronal de caixa negra para uma tarefa de previsão e explicar as suas decisões posteriormente, sem comprometer a sua capacidade nem o seu desempenho. Outra vantagem é que esta técnica pode ser aplicada a modelos existentes de diferentes tipos. Por isso, quando se fala de XAI, é frequente referir-se à explicabilidade post-hoc.

Porque é que a XAI é importante?

É essencial que os data scientists e os data engineers compreendam o que um modelo faz, para poderem depurá-lo e combater eventuais discriminações não intencionais. Antes de colocar um modelo em produção, é importante que as pessoas confiem nas suas previsões. Mas é pouco provável que confiem num resultado que não compreendem. A falta de explicabilidade pode levar os utilizadores finais a não usar o modelo. Um modelo que consegue explicar os seus resultados é transparente, o que aumenta a confiança nele.

É também necessário ter em conta a legislação da UE em matéria de privacidade. Os requisitos do Regulamento Geral sobre a Proteção de Dados tornam mais difícil aplicar um modelo na prática se não for possível explicá-lo. Além disso, a Comissão Europeia foi mais longe com a sua recente proposta de um regulamento sobre IA: em abril de 2021, anunciou que podemos esperar regras mais rigorosas para aplicações de IA de alto risco.

Como abordamos esta questão?

Já existem muitos métodos para explicar modelos de machine learning, e o seu número está a crescer consideravelmente. Podemos classificar estes métodos segundo o seu âmbito de explicação. Os métodos globais de XAI procuram explicar o comportamento do modelo no seu conjunto, enquanto os métodos locais de XAI se centram na explicação de uma decisão individual. Uma explicação global é especialmente valiosa para um data scientist; uma explicação local é útil para a pessoa afetada por uma decisão.

Os dois exemplos mais conhecidos de métodos locais (e post-hoc) são LIME (Local Interpretable Model-agnostic Explanations)[2] e SHAP (SHapley Additive exPlanations)[3]. Estes algoritmos diferem um pouco, mas a ideia é a mesma: alteram partes - ou features - dos dados de entrada e observam em que medida cada alteração influencia a decisão final.

Num pedido de crédito à habitação, pode alterar-se o valor do rendimento ou, por exemplo, a existência de uma dívida. Na classificação de texto, algumas palavras são substituídas ou removidas, determinando-se depois o novo resultado. No caso de uma imagem, esta é dividida em superpíxeis: grupos de píxeis com cores e luminosidade semelhantes. O resultado é um conjunto de pontuações que indica a importância de cada variável para a decisão.

O aspeto de uma explicação do LIME ou do SHAP depende destas variáveis, que, por sua vez, dependem do tipo de dados. Para dados tabulares, as variáveis e as respetivas pontuações podem ser apresentadas num gráfico:

Um exemplo fictício de uma explicação do LIME para a previsão de um risco baixo ou elevado de incumprimento por parte de quem pede crédito à habitação. A vermelho estão assinaladas as variáveis que contribuem para o resultado ‘risco elevado de incumprimento’; a verde, as que contribuem para ‘risco baixo de incumprimento’.

Para reconhecer cães e gatos em imagens, a explicação é composta por superpíxeis: A que se deve a popularidade do LIME? O seu software é acessível e a sua aplicação não é demasiado complexa. Mais importante ainda: trata qualquer modelo como uma caixa negra à qual não tem acesso, o que significa que pode ser aplicado a qualquer modelo. O SHAP também pode ser uma opção. Produz um resultado mais robusto, mas exige mais tempo de computação. É diferente dos métodos de XAI específicos de um modelo, que só podem ser aplicados a um determinado tipo de modelo e não podem ser implementados em qualquer modelo.

E agora?

Temos um modelo cujas decisões podem ser explicadas, mas o que se segue? Podemos assumir que a explicação do LIME está correta? A resposta é não. Tal como um modelo preditivo, também uma explicação tem de ser avaliada. As explicações geradas pelo LIME podem parecer-nos plausíveis sem, na verdade, refletirem o comportamento do modelo. Há também uma probabilidade considerável de outro método de XAI, como o SHAP, apresentar uma explicação diferente da do LIME. A avaliação de explicações é, por si só, uma área de estudo em que ainda se faz muita investigação.

Ainda assim, vale a pena prestar atenção à explicabilidade de um modelo, sobretudo quando é usado para tomar decisões de risco elevado com implicações para a sociedade. Pense em sistemas na saúde, em organismos públicos ou no ensino. Nestes setores, o grau de explicabilidade necessário é superior ao de sistemas como filtros de spam, chatbots ou sistemas de recomendação.

Conclusão

À medida que os algoritmos se tornam mais complexos, é cada vez mais difícil explicar e compreender exatamente o que fazem. Ainda assim, é importante compreender como um modelo chegou a uma decisão e que features tiveram influência. A explicabilidade não é importante apenas para profissionais de data science e data engineering, mas também para os utilizadores finais, especialistas do domínio e todas as outras pessoas envolvidas. Pode aumentar a confiança num sistema, ajudar a detetar erros e fragilidades e evitar situações injustas. No entanto, nem todos os algoritmos precisam do mesmo grau de explicabilidade. Numa decisão sobre um diagnóstico médico, uma explicação é essencial; numa recomendação personalizada da Netflix, não é tão necessária. O desempenho do modelo é menos importante do que um elevado grau de explicabilidade? Nesse caso, é preferível um modelo mais simples, cujo processo de decisão já seja transparente. Tenha cuidado com técnicas de XAI como LIME e SHAP: embora possam fornecer informações úteis, diferentes técnicas de XAI podem gerar explicações diferentes para a mesma decisão. Por isso, não atribua a responsabilidade final por uma decisão a um modelo de caixa negra; encare-o como um sistema de apoio. Uma ‘segunda opinião’. E deixe a decisão final sobre a concessão de um crédito à habitação a alguém nas mãos de uma pessoa.

Referências [1] T. Miller, “Explanation in Artificial Intelligence: Insights from the Social Sciences,” arXiv preprint, 2017. http://arxiv.org/abs/1706.07269
[2] https://github.com/marcotcr/lime
[3] https://github.com/slundberg/shap