Ética na IA

Escrito por

Data Science Lab

Publicado em

21 de junho de 2021

Os sistemas de IA estão hoje tão difundidos e integrados no quotidiano que muitas vezes não pensamos na interação necessária entre as pessoas e os algoritmos. Os algoritmos determinam o que aparece no seu feed das redes sociais, dizem-lhe qual deve ser a sua próxima compra na Amazon e indicam-lhe o melhor caminho para ir de A a B. Há muita confiança na IA, mas será justificada? A IA também é utilizada para tomar decisões que podem mudar vidas: avaliar o risco de reincidência, estabelecer um diagnóstico médico ou determinar como o seu carro autónomo reage perante uma situação perigosa. Os algoritmos tomam muitas vezes a decisão certa, mas, quando algo corre mal, as consequências podem ser irreversíveis em determinadas situações. Veja os seguintes exemplos:

Na administração fiscal neerlandesa, um sistema automático de seleção de riscos determinava quais os pedidos de prestações que deviam ser sujeitos a verificações adicionais. Uma pergunta sobre a dupla nacionalidade influenciava o resultado do algoritmo, o que contribuiu para o escândalo dos subsídios para cuidados infantis.
Com base nas suas compras numa cadeia de supermercados, uma adolescente norte-americana recebeu pelo correio cupões de desconto para roupa de bebé. O pai descobriu em casa que a filha estava grávida antes de ela lhe ter contado.
O sistema da Amazon que avalia os CV dos candidatos a emprego atribuía às mulheres uma menor probabilidade de serem contratadas. O modelo tinha sido treinado com dados históricos relativos sobretudo a trabalhadores brancos do sexo masculino.

A IA tem muito poder e, por isso, acarreta uma grande responsabilidade. As questões éticas relacionadas com a IA já não são apenas filosóficas: têm hoje implicações práticas que devem ser analisadas por governos e empresas. Neste contexto, a UE definiu sete pilares da Responsible AI[1]:

Autonomia e supervisão humanas
Robustez técnica e segurança
Privacidade e governação de dados
Diversidade, não discriminação e equidade
Transparência
Responsabilização
Bem-estar ambiental e social

Foram desenvolvidos vários conjuntos de ferramentas, avaliações e listas de verificação para tornar estas escolhas mais transparentes. Um exemplo é a Assessment List for Trustworthy Artificial Intelligence (ALTAI). Trata-se de uma autoavaliação para organizações que verifica se um sistema cumpre os sete princípios de IA responsável referidos acima. Desenvolvida pela UE, destina-se a ser utilizada por equipas multidisciplinares de programadores, especialistas, utilizadores finais, responsáveis pelas áreas jurídica e de compliance e elementos da direção. Atualmente, a IA ainda não evoluiu ao ponto de se poder responsabilizar um algoritmo pelas decisões que toma – ainda não existe e-personhood, ou personalidade jurídica para os algoritmos. Por isso, a principal responsabilidade de respeitar estes princípios continua a caber às empresas e aos governos.

Este artigo centra-se nas medidas que as empresas podem tomar para desenvolver e utilizar IA responsável. Há muito mais a dizer sobre ética e IA para além do que aqui abordamos. Não vamos falar de sistemas como carros autónomos ou drones, que se deparam com dilemas éticos. Vamos antes abordar os algoritmos do quotidiano com que a nossa sociedade se depara diariamente.

Garbage in, garbage out

Comecemos pelo tema do bias. Neste contexto, significa uma distorção da realidade. Dados de má qualidade produzem modelos e resultados de má qualidade. Se um algoritmo for utilizado para reconhecer cães em fotografias e o modelo não detetar repetidamente fotografias em que se vê claramente um cão, ou classificar um muffin de mirtilos como um chihuahua [2], há motivos para pensar que o modelo não está a funcionar como deveria. Talvez os dados de entrada tenham sido mal etiquetados ou não sejam representativos, a configuração do modelo esteja incorreta ou tenham ocorrido problemas de overfitting ou underfittin

As consequências de uma classificação errada nestes exemplos não são graves. Mas e se um modelo de reconhecimento facial for utilizado para identificar criminosos? Se o modelo identificar erradamente uma pessoa como criminosa, as consequências podem afetar injustamente toda a sua vida. A origem do problema pode estar na otimização do algoritmo, mas uma causa mais insidiosa pode ser o enviesamento incorporado nos dados de treino. As máquinas aprendem apenas com aquilo que lhes é mostrado – não têm em conta fatores contextuais ou culturais mais subtis. Um algoritmo que avalia se uma candidata pode ser adequada para uma função poderá atribuir-lhe uma pontuação mais baixa se o modelo tiver sido treinado com dados históricos em que os homens estão sobrerrepresentados. Por outro lado, conjuntos de dados em que os grupos minoritários estão sobrerrepresentados podem levar um algoritmo a classificar as pessoas desses grupos como de ‘maior risco’. Isto pode criar uma situação em que um grupo tem maior probabilidade de ir para a prisão ou de receber uma pena mais longa (o que faz com que estes grupos fiquem sobrerrepresentados nos novos dados, o que aumenta o risco de acabarem mais vezes na prisão, o que…).

As possíveis fontes de enviesamento em sistemas de machine learning (ML) incluem [3]:

Skewed sample: o viés num conjunto de dados inicial pode acentuar-se ao longo do tempo. Por exemplo, um departamento de polícia tenderá a enviar agentes para um bairro com uma taxa de criminalidade elevada. Isso aumenta a probabilidade de ser detetado um crime. Mesmo que haja mais criminalidade noutro bairro, a falta de presença policial pode resultar numa taxa de criminalidade registada mais baixa. Cria-se assim um viés positivo a favor dos bairros com menor presença policial.
Tainted examples: todos os sistemas de machine learning preservam o viés presente nos dados históricos devido a preconceitos humanos. Um exemplo vem do Google Translate, que, ao traduzir línguas com pronomes neutros em termos de género, produz muitas vezes traduções estereotipadas: ela é enfermeira, ele é engenheiro.
Limited features: se os rótulos forem muito menos fiáveis para um grupo minoritário do que para o grupo maioritário, as previsões costumam ser menos precisas para o grupo minoritário.
Sample size disparity: se houver muito menos dados de treino disponíveis para um grupo minoritário do que para os grupos maioritários, o modelo tem um desempenho inferior para o grupo minoritário.
Proxies: pode optar-se por não utilizar deliberadamente informação sensível no treino de um modelo. Dados como os códigos postais podem servir de indicador de informação sensível, como a origem étnica. Ainda assim, pode ser útil incluir informação como os códigos postais no treino. Por exemplo, os estudantes de cidades com um rendimento médio mais elevado podem ter mais acesso a apoio nos trabalhos de casa do que as crianças de bairros desfavorecidos. Se os códigos postais não fizerem parte dos dados de treino, os estudantes de cidades mais prósperas têm maior probabilidade de ser admitidos numa universidade, porque o modelo não tem em conta esta desigualdade.

É importante que as organizações ponderem cuidadosamente os dados usados para treinar um modelo e as possíveis fontes de enviesamento no conjunto de dados. Os dados utilizados têm de ser representativos. O ideal é evitar o enviesamento. Continuar a monitorizar o algoritmo para detetar enviesamentos pode ajudar a reduzir ao mínimo a sua influência nas decisões. Os cientistas de dados desenvolvem os algoritmos, mas a responsabilidade não pode recair inteiramente sobre eles. Cabe a todas as pessoas envolvidas num projeto de IA prevenir ativamente os enviesamentos para que sejam tomadas decisões corretas e éticas.

Transparência

Num artigo publicado anteriormente sobre explicabilidade e IA explicável (XAI) e a sua importância, descrevemos como a XAI permite compreender de que modo as decisões são tomadas e que características intervêm nesse processo. Esta ‘explicabilidade’ pode ajudar a evitar situações injustas e a identificar antecipadamente erros no sistema. A explicabilidade está relacionada com a transparência. Enquanto a explicabilidade diz sobretudo respeito aos resultados de um modelo, a transparência abrange mais os processos anteriores ao treino e à entrada em produção de um algoritmo: os dados de entrada, as escolhas feitas na análise e o funcionamento do algoritmo.

Enquanto utilizador final, geralmente tem pouca visibilidade sobre os dados de treino, a sua origem, a forma como foram limpos e as características específicas com que o modelo foi treinado. ‘Tem simplesmente de confiar’ que o algoritmo funciona no seu interesse. A transparência perante o público e a possibilidade de os utilizadores finais darem feedback podem contribuir para aumentar a confiança nos algoritmos. A Câmara Municipal de Amesterdão dá um exemplo com o seu registo de algoritmos. A ideia é que os serviços automatizados respeitem os mesmos princípios que os restantes serviços prestados pelo município – nomeadamente, serem abertos e passíveis de escrutínio, tratarem as pessoas de forma igual e não limitarem a sua liberdade nem a sua capacidade de decisão.

A transparência total nem sempre é possível, por exemplo, quando os algoritmos são, ou têm de permanecer, confidenciais. Pense novamente na deteção de fraude pela autoridade tributária neerlandesa. Se esta divulgasse o algoritmo, os defraudadores poderiam preencher as suas declarações fiscais de forma a evitar a deteção. Para as empresas comerciais, divulgar um algoritmo também nem sempre é desejável. A Google propôs utilizar ‘model cards’ para dar a especialistas e não especialistas informação sobre os modelos. Os model cards podem incluir informações sobre o desempenho de um modelo, os dados utilizados, as suas limitações, os riscos éticos e as estratégias usadas para os ultrapassar. Está disponível um Model Card Toolkit que funciona com scikit-learn para criar relatórios deste tipo. Esta abordagem permitiria às empresas que não querem revelar todo o seu algoritmo serem, ainda assim, mais transparentes quanto aos algoritmos que utilizam. Mesmo assim, a transparência é como ‘olhar através de uma janela’: só se vê o que a janela deixa ver.

Supervisão humana

Segundo o artigo 22.º do RGPD, regra geral, a decisão final não pode caber apenas a um algoritmo quando possa ter consequências significativas para a vida de uma pessoa:

“O titular dos dados tem o direito de não ficar sujeito a nenhuma decisão tomada exclusivamente com base no tratamento automatizado, incluindo a definição de perfis, que produza efeitos na sua esfera jurídica ou que o afete significativamente de forma similar.”

Na prática, as pessoas têm muitas vezes dificuldade em contrariar um algoritmo. Afinal, podem partir do princípio de que o computador sabe mais. Por isso, é importante que a aprovação automática não esteja ativada quando uma pessoa tem de avaliar uma decisão tomada por um algoritmo.

Conclusão

Vivemos numa sociedade em que os algoritmos influenciam continuamente as nossas ações. Os algoritmos também tomam cada vez mais decisões que afetam a nossa vida, por exemplo quando pedimos um empréstimo ou crédito à habitação. São as pessoas, e não o algoritmo em si, que têm a maior responsabilidade pelas implicações éticas dessas decisões. Por isso, é importante ponderar que dados são usados para treinar um modelo e evitar que possíveis enviesamentos conduzam a decisões injustas. Numa organização, esta responsabilidade não deve recair inteiramente sobre os data scientists; deve haver um diálogo com todas as pessoas envolvidas no projeto. A transparência sobre as escolhas feitas durante o desenvolvimento de um sistema de IA permite obter feedback e dá aos utilizadores finais mais confiança no sistema. Cabe à organização documentar todas as ponderações subjacentes a essas escolhas. Além disso, deve ser sempre possível uma pessoa reverter uma decisão preparada por um sistema de IA. Existe muita confiança na IA e devemos empenhar-nos para garantir que essa confiança é justificada.

Quer saber mais sobre este tema ou conhecer exemplos de como o abordamos nos nossos projetos? Contacte-nos para mais informações, sem compromisso.