Enviesamento de género nos dados

Os dados desempenham um papel cada vez mais importante nas nossas vidas. As decisões pessoais, empresariais e até políticas são cada vez mais tomadas por algoritmos. Mas um algoritmo que funciona quase sem intervenção humana não pode ser ‘enviesado’, pois não? Infelizmente, pode. Todos os algoritmos assentam em determinados pressupostos e dependem muito deles. As perspetivas e ideias de quem concebe o modelo acabam por ter uma enorme influência nos resultados. Este artigo aborda uma consequência específica: o enviesamento de género. O que é, exatamente? O enviesamento de género nos dados é um enviesamento (uma distorção do resultado causada por fatores externos) especificamente relacionado com o género. Muitos algoritmos baseiam-se em dados que não representam a população relevante. Por exemplo, é frequente faltar contributos de mulheres. Isto pode produzir resultados parciais ou enviesados. Mas o que acontece quando se tomam decisões importantes com base nesses resultados? O enviesamento de género nos dados é visível na prática, mas também pode estar ‘oculto’, por exemplo, em machine learning.

Exemplos de enviesamento de género nos dados na prática

• Quando as mulheres estão envolvidas num acidente de viação, têm uma probabilidade 47% maior do que os homens de sofrer uma lesão grave e 71% maior de sofrer uma lesão de gravidade moderada. A probabilidade de uma mulher morrer num acidente de viação também é 17% maior do que a de um homem[2]. Porquê? Em média, as mulheres sentam-se mais à frente, são mais baixas e, por isso, precisam de se sentar mais direitas para terem melhor visibilidade. Isto acontece porque os automóveis foram concebidos com recurso a manequins de testes de colisão baseados no homem médio. Em 2011, foram utilizados pela primeira vez manequins femininos de testes de colisão na produção automóvel nos Estados Unidos.
• Em 2014, a Amazon introduziu um algoritmo para selecionar automaticamente os melhores talentos entre um grande número de currículos. Parecia promissor, mas os currículos que continham a palavra “women’s” recebiam pontuações mais baixas. Currículos idênticos cuja única diferença era o candidato ser homem ou mulher também recebiam pontuações diferentes. A causa era o facto de o modelo ter sido treinado com currículos de 10 anos antes, provenientes do setor tecnológico. Devido à sub-representação das mulheres nesse setor, os dados de treino eram compostos sobretudo por currículos de homens.
• Na medicina, também se verifica que os ataques cardíacos são menos rapidamente reconhecidos nas mulheres do que nos homens e que os medicamentos têm maior probabilidade de não funcionar corretamente, simplesmente porque foram testados em grupos maioritariamente masculinos[6].

Os exemplos acima têm a mesma causa. Os dados de treino dos algoritmos não são representativos da população em geral e, nestes casos, isso tem consequências graves e, por vezes, até perigosas.

Viés de género nos dados em IA e data science

O viés de género também pode ocorrer em modelos de machine learning, incluindo em algoritmos de autoaprendizagem, dos quais seria de esperar neutralidade. Se os dados introduzidos num algoritmo já contiverem um viés, este pode não só refletir-se nos resultados do modelo, como também ser amplificado. Destacam-se abaixo algumas técnicas e métodos de data science e/ou IA em que isto acontece.

Reconhecimento de imagens[4]

Os modelos de reconhecimento de imagens permitem aprender a partir de imagens sem necessidade de conhecimentos específicos.

O software de reconhecimento de imagens, incluindo o utilizado por grandes fornecedores, apresenta estereótipos claros. As imagens de compras e de lavagem de roupa são associadas a mulheres; as de treino desportivo e de tiro, a homens. Este software também classifica com mais frequência como mulheres os homens que aparecem em cozinhas. Além disso, quando se analisam as etiquetas atribuídas a imagens de homens e de mulheres, o Google Cloud Vision, por exemplo, atribui etiquetas claramente diferentes a cada grupo.
As imagens de mulheres são muito mais frequentemente classificadas com base em características físicas, enquanto as de homens são classificadas com base em características profissionais. Isto também é visível na imagem. Além disso, as mulheres são, de um modo geral, menos reconhecidas nas imagens do que os homens.

Reconhecimento de voz

A IA de voz, ou reconhecimento de fala, é um método cada vez mais utilizado. A Google tem um modelo próprio, amplamente utilizado, para este efeito. A própria Google afirmou que o seu sistema de reconhecimento de fala tem uma precisão de 95%. No entanto, essa precisão não é igual para todos os grupos. Para os homens, a ferramenta é 13% mais precisa do que para as mulheres. Também funciona melhor para alguns dialetos e sotaques do que para outros[5].

Se fosse avaliado o desempenho do reconhecimento de fala em cada grupo, seria possível implementar melhorias específicas. Isto começa pelos dados introduzidos no sistema: envolver um grupo diversificado permite ter uma ideia mais clara da precisão.

Natural Language Processing e Word Embeddings

Também pode existir viés de género em Natural Language Processing, por exemplo, na utilização de word embeddings [7]. Os word embeddings são treinados com base na coocorrência de palavras em corpora de textos. Num modelo deste tipo, treinado com dados do Google News, verifica-se, por exemplo, que a distância entre as palavras ‘nurse’ e ‘woman’ é consideravelmente menor do que a distância entre ‘nurse’ e ‘man’. Isto indica um viés de género.

Existem métodos de ‘debiasing’ para modelos de machine learning que reduzem o viés. A palavra ‘nurse’, do exemplo anterior, pode, por exemplo, ser deslocada para mais perto do ponto intermédio entre ‘man’ e ‘woman’. Muitas vezes, também é possível reduzir a amplificação do viés causada por alguns modelos de machine learning. Ainda assim, neste caso, mais vale prevenir do que remediar; afinal, a causa já está presente nos dados fornecidos ao algoritmo. Além disso, estes métodos de debiasing só podem ser aplicados depois de quem concebeu o modelo detetar o viés. Só quando, enquanto profissional de data science, tem consciência do viés presente nos dados é que pode fazer algo a esse respeito.

O viés de género não é o único viés presente neste tipo de algoritmos. Todos os algoritmos são fortemente influenciados pelos pressupostos em que assentam, pelo que o viés de género é apenas uma ilustração da importância dos dados fornecidos a um algoritmo.

Conclusão

O viés de género nos dados desempenha, portanto, um papel importante e tem consequências claras na prática. Mas os primeiros passos já foram dados. Para enfrentar o problema, é preciso começar por reconhecê-lo. Parece haver uma maior consciencialização, e o tema está a ganhar visibilidade. Assim, a ‘pessoa’ por detrás do algoritmo é determinante para o seu resultado. Por isso, mais mulheres em data science é, sem dúvida, um bom começo!

Referências

1. A. Linder & M. Y. Svensson (2019) Road safety: the average male as a norm in vehicle occupant crash safety assessment, Interdisciplinary Science Reviews, 44:2, 140-153, DOI: 10.1080/03080188.2019.1603870
2. https://www.theguardian.com/lifeandstyle/2019/feb/23/truth-world-built-for-men-car-crashes
3. https://www.bbc.com/news/technology-45809919
4. Schwemmer, C., Knight, C., Bello-Pardo, E. D., Oklobdzija, S., Schoonvelde, M., & Lockhart, J. W. (2020). Diagnosing gender bias in image recognition systems. Socius, 6, 2378023120967171
5. Tatman, R. (2017). Gender and Dialect Bias in Youtube;s Automatic Captions
6. Hamberg, K. (2008). Gender bias in medicine. Women’s health, 4(3), 237-243.
7. Bolukbasi, T., Chang, K. W., Zou, J. Y., Saligrama, V., & Kalai, A. T. (2016). Man is to computer programmer as woman is to homemaker? debiasing word embeddings. Advances in neural information processing systems, 29, 4349-4357.