Ética na IA

Escrito por

Data Science Lab

Publicado em

21 de junho de 2021

Os sistemas de IA estão hoje tão difundidos e integrados no quotidiano que muitas vezes não paramos para pensar na interação necessária entre pessoas e algoritmos. Os algoritmos determinam o que aparece no seu feed das redes sociais, dizem-lhe qual deve ser a sua próxima compra na Amazon e indicam-lhe o melhor caminho de A para B. Depositamos muita confiança na IA, mas será essa confiança justificada? A IA também é utilizada para tomar decisões que podem mudar vidas: avaliar o risco de reincidência, estabelecer um diagnóstico médico ou determinar como o seu carro autónomo reage numa situação perigosa. Os algoritmos tomam muitas vezes a decisão certa, mas, quando falham, as consequências podem ser irreversíveis em determinadas situações. Considere os seguintes exemplos:

Na Belastingdienst, um sistema automático de seleção de riscos determinava que pedidos de subsídio exigiam verificações adicionais. A pergunta sobre a dupla nacionalidade influenciava o resultado do algoritmo, o que contribuiu para o escândalo dos subsídios para creches.
Com base nas suas compras numa cadeia de supermercados, uma adolescente norte-americana recebeu pelo correio vales de desconto para roupa de bebé. O pai descobriu em casa que a filha estava grávida antes de ela lhe ter contado.
O sistema da Amazon que avalia os currículos de potenciais trabalhadores atribuía às mulheres uma menor probabilidade de contratação. O modelo tinha sido treinado com dados históricos referentes sobretudo a trabalhadores brancos do sexo masculino.

A IA tem muito poder e, por isso, uma grande responsabilidade. As questões éticas relacionadas com a IA já não são apenas filosóficas: hoje têm também implicações práticas que os governos e as empresas devem analisar. Neste contexto, a UE estabeleceu sete pilares de Responsible AI[1]:

Autonomia e supervisão humanas
Robustez técnica e segurança
Privacidade e governação dos dados
Diversidade, não discriminação e justiça
Transparência
Responsabilização
Bem-estar ambiental e social

Foram desenvolvidos vários conjuntos de ferramentas, avaliações e listas de verificação para promover a transparência em torno destas escolhas. Um exemplo é a Assessment List for Trustworthy Artificial Intelligence (ALTAI). Trata-se de uma autoavaliação para organizações que verifica se um sistema cumpre os sete princípios de IA responsável referidos acima. Desenvolvida pela UE, destina-se a ser utilizada por equipas multidisciplinares de programadores, especialistas, utilizadores finais, responsáveis pelas áreas jurídica e de conformidade e elementos da gestão. Atualmente, a IA ainda não evoluiu ao ponto de um algoritmo poder ser responsabilizado pelas decisões tomadas – ainda não existe e-personhood, ou personalidade jurídica para um algoritmo. Assim, a principal responsabilidade de defender estes princípios continua a caber às empresas e aos governos.

Neste artigo, centramo-nos nas medidas que as empresas podem tomar para desenvolver e implementar IA responsável. Há muito mais a dizer sobre ética e IA para além do que abordamos aqui. Em vez de analisarmos sistemas como carros autónomos ou drones, que enfrentam dilemas éticos, vamos abordar os algoritmos do quotidiano com que nos deparamos regularmente.

Garbage in, garbage out

Comecemos por falar de bias. Neste contexto, significa algo como uma distorção da realidade. Dados de má qualidade dão origem a modelos e resultados de má qualidade. Se um algoritmo for utilizado para reconhecer cães em fotografias, mas o modelo não identificar repetidamente fotografias em que se vê claramente um cão ou classificar um muffin de mirtilos como um chihuahua [2], há motivos para pensar que o modelo não está a funcionar tão bem quanto deveria. Talvez os dados de entrada tenham sido mal rotulados ou não sejam representativos, exista algum problema na configuração do modelo ou tenham ocorrido problemas de overfitting ou underfittin

As consequências de uma classificação errada nestes exemplos não são graves. Mas e se um modelo de reconhecimento facial for utilizado para identificar criminosos? Se o modelo identificar erradamente uma pessoa como criminosa, as consequências podem afetar injustamente toda a sua vida. A causa deste problema pode estar na otimização do algoritmo, mas uma causa mais insidiosa pode ser o enviesamento incorporado nos dados de treino. As máquinas aprendem apenas com aquilo que lhes é mostrado – não têm em conta fatores contextuais ou culturais mais subtis. Um algoritmo que avalia se uma candidata é adequada para uma função pode atribuir-lhe uma pontuação mais baixa se o modelo tiver sido treinado com dados históricos em que os homens estão sobrerrepresentados. Por outro lado, conjuntos de dados em que as minorias estão sobrerrepresentadas podem levar um algoritmo a classificar essas pessoas como de ‘maior risco’. Isto pode criar uma situação em que um grupo tem maior probabilidade de ir para a prisão ou de receber uma pena mais longa (o que leva à sobrerrepresentação destes grupos em novos dados, aumentando o risco de voltarem a ser presos com maior frequência, o que…).

As possíveis fontes de enviesamento em sistemas de machine learning (ML) incluem [3]:

Skewed sample: o enviesamento num conjunto de dados inicial pode acentuar-se ao longo do tempo. Por exemplo, um departamento de polícia tem maior probabilidade de enviar agentes para um bairro com uma taxa de criminalidade registada elevada. Isto aumenta a probabilidade de ser detetado um crime. Mesmo que haja mais criminalidade noutro bairro, a menor presença policial pode levar a uma taxa de criminalidade registada mais baixa nesse bairro. Cria-se assim um enviesamento positivo a favor dos bairros com menor presença policial.
Tainted examples: qualquer sistema de machine learning mantém o enviesamento presente nos dados históricos que resulta de preconceitos humanos. Um exemplo vem do Google Translate, que, ao traduzir de línguas com pronomes neutros quanto ao género, produz frequentemente traduções estereotipadas: ela é enfermeira, ele é engenheiro.
Limited features: se a fiabilidade dos rótulos para um grupo minoritário for muito inferior à dos rótulos para o grupo maioritário, as previsões são geralmente menos precisas para o grupo minoritário.
Sample size disparity: se houver muito menos dados de treino disponíveis para o grupo minoritário do que para os grupos maioritários, o modelo tem um desempenho inferior para o grupo minoritário.
Proxies: pode optar por não utilizar informação sensível ao treinar um modelo. Dados como os códigos postais podem servir de indicador de informação sensível, como a origem étnica. Ainda assim, pode ser útil incluir informação como os códigos postais no treino. Por exemplo, estudantes de cidades com rendimentos médios mais elevados podem ter mais acesso a apoio nos trabalhos de casa do que crianças de bairros desfavorecidos. Se os códigos postais não fizerem parte dos dados de treino, os estudantes de cidades mais prósperas têm maior probabilidade de ser admitidos numa universidade, porque o modelo não tem em conta esta desigualdade.

É importante que as organizações reflitam cuidadosamente sobre os dados usados para treinar um modelo e sobre as possíveis fontes de enviesamento presentes no conjunto de dados. Os dados utilizados têm de ser representativos. O ideal é, naturalmente, evitar o enviesamento. A monitorização contínua do enviesamento no algoritmo pode ajudar a minimizar a sua influência nas decisões. Os data scientists desenvolvem os algoritmos, mas a responsabilidade não pode recair inteiramente sobre eles. Cabe a todas as pessoas envolvidas num projeto de IA prevenir ativamente o enviesamento, para que as decisões sejam corretas e éticas.

Transparência

Num artigo publicado anteriormente sobre explicabilidade e IA explicável (XAI) e a sua importância, descrevemos como a XAI permite compreender de que forma as decisões são tomadas e que variáveis intervêm nesse processo. Esta ‘explicabilidade’ pode ajudar a evitar situações injustas e a detetar antecipadamente erros no sistema. A explicabilidade está relacionada com a transparência. Enquanto a explicabilidade se centra sobretudo nos resultados de um modelo, a transparência diz mais respeito aos processos anteriores ao treino e à entrada em produção de um algoritmo: os dados de entrada, as escolhas feitas na análise e o funcionamento do algoritmo.

Enquanto utilizador final, normalmente tem pouca visibilidade sobre os dados de treino: de onde vêm, como foram tratados e com que variáveis o modelo foi treinado. ‘Tem de confiar’ que o algoritmo funciona no seu interesse. A transparência perante o público e a possibilidade de os utilizadores finais darem feedback podem ajudar a reforçar a confiança nos algoritmos. O município de Amsterdam dá um bom exemplo com o seu registo de algoritmos. A ideia é que os serviços públicos automatizados respeitem os mesmos princípios que os restantes serviços municipais – nomeadamente, sejam abertos e passíveis de escrutínio, tratem as pessoas de forma igual e não limitem a sua liberdade nem a sua capacidade de decisão.

A transparência total nem sempre é possível, por exemplo, quando os algoritmos são secretos ou têm de permanecer secretos. Voltemos à deteção de fraude na autoridade tributária neerlandesa. Se esta revelasse o algoritmo, os autores de fraude poderiam preencher as suas declarações fiscais de forma a evitar a deteção. Para as empresas comerciais, divulgar um algoritmo também nem sempre é desejável. A Google propôs a utilização de ‘model cards’ para dar a conhecer os modelos tanto a especialistas como a não especialistas. Os model cards podem incluir informações sobre o desempenho de um modelo, os dados utilizados, as suas limitações, os riscos éticos e as estratégias usadas para os superar. Está disponível um Model Card Toolkit que funciona com scikit-learn para criar este tipo de relatórios. Esta abordagem permitiria às empresas que não querem revelar todos os pormenores do seu algoritmo ser, ainda assim, mais transparentes quanto aos algoritmos que utilizam. Mesmo assim, a transparência é como ‘olhar através de uma janela’: só se vê o que a janela permite ver.

Supervisão humana

Nos termos do artigo 22.º do RGPD, a decisão final não pode, em regra, ficar exclusivamente a cargo de um algoritmo quando possa ter consequências significativas na vida de uma pessoa:

“O titular dos dados tem o direito de não ficar sujeito a nenhuma decisão tomada exclusivamente com base no tratamento automatizado, incluindo a definição de perfis, que produza efeitos na sua esfera jurídica ou que o afete significativamente de forma similar.”

Na prática, as pessoas têm muitas vezes dificuldade em contrariar o algoritmo. Afinal, podem partir do princípio de que o computador sabe mais. Por isso, quando uma pessoa tem de avaliar a decisão de um algoritmo, é importante que a aprovação automática não esteja ativada.

Conclusão

Vivemos numa sociedade em que os algoritmos influenciam continuamente as nossas ações. Os algoritmos também tomam cada vez mais decisões que afetam a nossa vida, por exemplo, quando pedimos um empréstimo ou um crédito à habitação. São as pessoas, e não o próprio algoritmo, que têm a maior responsabilidade pelas implicações éticas. Por isso, é importante ponderar que dados são usados para treinar um modelo e evitar que possíveis enviesamentos conduzam a decisões injustas. Numa organização, esta responsabilidade não deve recair inteiramente sobre os data scientists: é necessário dialogar com todas as pessoas envolvidas no projeto. A transparência sobre as escolhas feitas no desenvolvimento de um sistema de IA permite obter feedback e dá aos utilizadores finais mais confiança no sistema. Cabe à organização documentar todas as decisões e os fatores ponderados. Além disso, deve ser sempre possível a uma pessoa reverter uma decisão preparada por um sistema de IA. Existe muita confiança na IA e devemos empenhar-nos para garantir que essa confiança é justificada.

Quer saber mais sobre este tema ou conhecer exemplos de como o abordamos nos nossos projetos? Contacte-nos, sem compromisso, para obter mais informações!