IA explicável: uma explicação

Imagine que o seu pedido de crédito habitação é recusado. A primeira pergunta que faz é provavelmente: porquê? Uma entidade que concede crédito habitação pode explicar por que razão não cumpre os requisitos para obter esse crédito. Mas e se essa decisão for tomada por um modelo de machine learning? Não basta receber como resposta “o computador diz que não”. A falta de uma explicação é problemática e afeta várias partes interessadas. Para a pessoa a quem a decisão diz respeito, é importante que o raciocínio possa ser explicado. Importa também evitar que a decisão assente, por exemplo, em discriminação não intencional: ninguém deve ser recusado com base na sua origem étnica. Para os profissionais de data science e data engineering que treinam um modelo, compreender o seu comportamento é essencial para detetar possíveis erros ou fragilidades. A IA explicável (XAI) pode ajudar a melhorar um modelo. Deparamo-nos cada vez mais com sistemas automatizados que utilizam algoritmos de machine learning. Estes são usados, entre outros, por organismos públicos, no setor financeiro e na área da saúde. E há boas razões para isso. Em muitos casos, estes algoritmos apresentam bons resultados, por vezes até melhores do que uma pessoa. Mas podemos confiar cegamente num modelo com uma precisão de 90% ou superior, ou devemos perguntar-nos como chegou à sua decisão? Nos últimos anos, a investigação sobre XAI aumentou significativamente. A ética na IA tem recebido mais atenção. Talvez porque a IA é utilizada a uma escala cada vez maior e aplicada com mais frequência a decisões importantes, mas também porque os algoritmos se tornam cada vez mais complexos. Complexos de mais para serem compreendidos. Será a XAI a solução?

O que é a explicabilidade?

Comecemos por definir o conceito de explicabilidade . Infelizmente, ainda não existe uma definição consensual. Na literatura, utiliza-se geralmente a seguinte definição: “o grau em que uma pessoa consegue compreender a causa de uma decisão” [1]. Trata-se aqui de uma decisão tomada por um modelo de machine learning ou por um algoritmo. De um modo geral, podemos distinguir dois tipos de explicabilidade:

Explicabilidade ante-hoc

Explicabilidade desde a conceção. Neste caso, desenvolve-se um modelo que é transparente por natureza. Pense, por exemplo, numa árvore de decisão simples ou num modelo linear simples. Estes modelos são fáceis de compreender e, por isso, são ‘explicáveis’: conseguimos perceber como chegam a uma decisão.

Explicabilidade post-hoc

Mas o que fazer quando um modelo não é transparente? Chama-se a esse modelo uma ‘caixa negra’: apenas as entradas e as saídas são visíveis, e não sabemos o que acontece no seu interior. Neste caso, pode optar pela explicabilidade post-hoc: geramos uma explicação para um modelo de caixa negra já existente que não é, por si só, ‘explicável’. Para isso, utiliza-se frequentemente outro algoritmo para explicar o algoritmo original de caixa negra e, de certa forma, revelar o seu funcionamento.

Qual é a abordagem preferível?

Um modelo simples que já é explicável é geralmente preferível a uma rede neural complexa que ainda precisa de ser explicada com recurso a técnicas de IA explicável (XAI) post-hoc. No entanto, há muitas situações em que um modelo mais simples não é suficiente e não consegue atingir o desempenho de um modelo mais complexo. Surge então uma escolha entre precisão e explicabilidade: é preciso ponderar o desempenho de um modelo face à facilidade de o explicar. Como mostra a figura abaixo, uma maior explicabilidade implica muitas vezes uma menor precisão do modelo.

Uma grande vantagem dos métodos post-hoc é que não é necessário abdicar do desempenho: mantemos o modelo tal como está e acrescentamos posteriormente uma técnica capaz de gerar uma explicação. Assim, é possível utilizar uma rede neural de caixa negra para uma tarefa de previsão e explicar as suas decisões depois, sem comprometer a sua capacidade nem o seu desempenho. Outra vantagem é que esta técnica pode ser aplicada a modelos existentes – e a diferentes tipos de modelos. Quando se fala de XAI, refere-se frequentemente à explicabilidade post-hoc.

Porque é importante a XAI?

É essencial que os profissionais de data science e data engineering compreendam o que um modelo faz, para poderem depurá-lo e combater uma eventual discriminação involuntária. Antes de colocar um modelo em produção, é importante que as pessoas confiem nas suas previsões. Mas é pouco provável que confiem num resultado que não compreendem. A falta de explicabilidade pode levar os utilizadores finais a não usar o modelo. Um modelo capaz de explicar os seus resultados é transparente, o que aumenta a confiança nele.

Também é necessário ter em conta a legislação da UE em matéria de privacidade. Os requisitos do Regulamento Geral sobre a Proteção de Dados tornam mais difícil implementar um modelo na prática se não for possível explicá-lo. Além disso, a Comissão Europeia foi mais longe com a sua recente proposta de regulamento sobre IA: em abril de 2021, anunciou que podemos esperar regras mais rigorosas para aplicações de IA de alto risco.

Como abordamos esta questão?

Já existem muitos métodos diferentes para explicar modelos de machine learning, e o seu número está a crescer consideravelmente. Podemos classificar estes métodos de acordo com o seu âmbito de explicação. Os métodos globais de XAI procuram explicar o comportamento do modelo na sua totalidade, enquanto os métodos locais de XAI se concentram em explicar uma decisão individual. Uma explicação global é especialmente valiosa para um profissional de data science; uma explicação local é útil para a pessoa afetada por uma decisão.

Os dois exemplos mais conhecidos de métodos locais (e post-hoc) são o LIME (Local Interpretable Model-agnostic Explanations)[2] e o SHAP (SHapley Additive exPlanations)[3]. Estes algoritmos são um pouco diferentes, mas a ideia é a mesma: alteram partes - ou features - dos dados de entrada e analisam o grau de influência de cada alteração na decisão final.

Num pedido de crédito à habitação, pode alterar-se o valor do rendimento ou, por exemplo, a existência de uma dívida. Na classificação de texto, substituem-se ou removem-se algumas palavras e determina-se o novo resultado. No caso de uma imagem, esta é dividida em super-píxeis: grupos de píxeis com cores e luminosidade semelhantes. O resultado é um conjunto de pontuações que indica a importância de cada variável para a decisão.

O aspeto de uma explicação do LIME ou do SHAP depende destas variáveis (que, por sua vez, dependem do tipo de dados). Para dados tabulares, as variáveis e as respetivas pontuações podem ser apresentadas num gráfico:

Um exemplo fictício de uma explicação do LIME para a previsão de um risco baixo ou elevado de incumprimento por parte de um requerente de crédito à habitação. A vermelho, estão assinaladas as variáveis que contribuem para o resultado ‘risco elevado de incumprimento’; a verde, as que contribuem para ‘risco baixo de incumprimento’.

Para reconhecer cães e gatos em imagens, a explicação consiste em super-píxeis: A que se deve a popularidade do LIME? O software é acessível e a sua aplicação não é demasiado complicada. Mais importante ainda: trata qualquer modelo como uma caixa-preta à qual não tem acesso, o que significa que pode ser aplicado a qualquer modelo. O SHAP também pode ser uma opção. Produz um resultado mais robusto, mas exige mais tempo de computação. Isto contrasta com os métodos de XAI específicos de um modelo, que só podem ser aplicados a um determinado tipo de modelo e não podem ser implementados de forma arbitrária.

E agora?

Temos um modelo cujas decisões podem ser explicadas, mas o que se segue? Podemos partir do princípio de que a explicação do LIME está correta? A resposta é não. Tal como é necessário avaliar um modelo preditivo, também é necessário avaliar uma explicação. As explicações geradas pelo LIME podem parecer-nos plausíveis sem, na realidade, refletirem o comportamento do modelo. Existe também uma probabilidade razoável de outro método de XAI, como o SHAP, apresentar uma explicação diferente da do LIME. A avaliação de explicações é, por si só, uma área de estudo em que ainda se faz muita investigação.

Ainda assim, vale a pena prestar atenção à explicabilidade de um modelo, sobretudo quando está em causa uma decisão de alto risco com implicações para a sociedade. Pense em sistemas utilizados na saúde, em organismos públicos ou no ensino. Nestes setores, é necessário um nível de explicabilidade mais elevado do que em sistemas como filtros de spam, chatbots ou sistemas de recomendação.

Conclusão

À medida que os algoritmos se tornam mais complexos, torna-se cada vez mais difícil explicar e compreender exatamente o que fazem. Ainda assim, é importante perceber como um modelo chegou a uma decisão e que features contribuíram para ela. A explicabilidade não é importante apenas para os profissionais de data science e data engineering, mas também para os utilizadores finais, os especialistas da área e todas as outras pessoas envolvidas. Pode aumentar a confiança num sistema, ajudar a detetar erros e pontos fracos e evitar situações injustas. No entanto, nem todos os algoritmos precisam do mesmo nível de explicabilidade. Numa decisão sobre um diagnóstico médico, uma explicação é essencial; numa recomendação personalizada da Netflix, é menos necessária. Se o desempenho do modelo for menos importante e a prioridade for um elevado nível de explicabilidade, é preferível optar por um modelo mais simples, cujo processo de decisão já seja transparente. Tenha cuidado com técnicas de XAI como LIME e SHAP: embora possam fornecer informações úteis, diferentes técnicas de XAI podem gerar explicações diferentes para a mesma decisão. Por isso, não atribua a responsabilidade final pela decisão a um modelo de caixa negra; encare-o como um sistema de apoio. Uma ‘segunda opinião’. E deixe a decisão final sobre a concessão de um crédito à habitação a uma pessoa.

Referências [1] T. Miller, “Explanation in Artificial Intelligence: Insights from the Social Sciences,” arXiv preprint, 2017. http://arxiv.org/abs/1706.07269
[2] https://github.com/marcotcr/lime
[3] https://github.com/slundberg/shap