“Esse algoritmo da Netflix não sabe de nada!”, solta Manuela. Sorri, atenta à explicação que ela se preparava pra me dar. “Outro dia, assisti um filme que estava como ‘40% relevante’ e foi simplesmente o melhor filme que vi nos últimos tempos! Era um anime, não é o que costumo ver, mas adorei… Tenho visto vários desde então”. Sorri ainda mais! Manu tinha furado a bolha da filtragem colaborativa.

Dispensar filmes com baixa porcentagem de relevância no serviço de streaming é tão corriqueiro que nem pensamos muito sobre isso. O serviço consome nossos dados, aprende o que a gente gosta, sugere boas opções e fim: não tem porquê questionar ou arriscar ver um filme ruim em um mundo que sabe exatamente o que você faz, aonde e com quem.

Feedback loop e sistemas de recomendação

Boa parte dos Sistemas de Recomendação baseiam-se no que chamamos de collaborative filtering — ou seja, filtragem colaborativa, uma técnica que privilegia dados históricos de interações entre o consumidor e o item consumido. Por exemplo, avaliações, estrelinhas ou qualquer forma de rating que seja possível deixar ao filme ou ao produto. A partir desses dados de comportamento e preferências, o sistema sugere recomendações altamente personalizadas. Parece ótimo, não? Acontece que, com o tempo, o algoritmo não só prevê o quê as pessoas vão gostar/comprar, mas também passa a controlar a que elas são expostas, em um fenômeno conhecido como ‘feedback loop’: quando os dados passam a controlar a próxima rodada de dados que o sistema obtém. O algoritmo, então, se retroalimenta, e as recomendações talvez não sejam mais tão pertinentes assim — afinal, o usuário consumiu aquele conteúdo porque gosta ou porque é só isso que o seu sistema tem sugerido?

Parece pouco grave quando pensamos em um sistema de recomendação de um e-commerce em que, talvez, o máximo de efeito colateral seja a manutenção do consumidor na marca de shampoo que ele sempre compra. Quando pensamos em um cenário de recomendação de conteúdo, por outro lado, como feed de redes sociais, páginas iniciais de sites de notícia e o próprio recomendador de vídeos do YouTube, a coisa fica um pouco mais complexa. Vamos olhar de perto esse último exemplo.

O Google usou horas gastas assistindo o YouTube como uma indicação de quão felizes os usuários estavam com o conteúdo, escrevendo no blog da empresa que “se os espectadores estão assistindo mais coisas no YouTube, isso nos sinaliza que eles estão mais felizes com o conteúdo que encontraram”. Guillaume Chaslot, AI engineer que trabalhou na Google/YouTube, compartilhou como isso teve o efeito inesperado de incentivar teorias da conspiração, já que convencer os usuários de que o resto da mídia estava mentindo os manteve mais tempo assistindo YouTube e cada vez mais consumindo somente aquele tipo de conteúdo.

O efeito bolha alimenta a visão de mundo e percepções do indivíduo gerador de dados que, preso em um feedback loop, passa a receber somente nichos específicos em sua experiência na plataforma. No fim do dia, isso tem efeitos mais expressivos do que apenas perder um bom anime porque você só assiste romance.

Teste AB e a perpetuação do preconceito

Um caso famoso denunciado pela pesquisadora Latanya Sweeney, da Universidade de Harvard, mostra como a entrega de publicidade feita por ferramentas como Google Ads pode perpetuar um estereótipo, contribuindo para a manutenção de bolhas preconceituosas e racistas. Ao digitar seu próprio nome no buscador, os top links de publicidade eram de empresas que fazem checagem de antecedentes criminais, sugerindo que ela própria teria uma ficha que pudesse ser consultada. Latanya se questionou se, ao digitar um nome mais comumente associado a pessoas brancas, como Kate ou Brendan, ela receberia os mesmos tipos de publicidade.

Latanya fez o experimento e coletou evidências de mais de 2 mil nomes, a maioria deles com retorno de anúncios para registros públicos. No entanto, os nomes de identificação negra revelaram-se muito mais prováveis para gerarem anúncios que incluíam a palavra “prisão” do que os nomes de identificação branca (60% contra 48%). Uma possível explicação seria o próprio teste AB que a ferramenta Adsense realiza: anúncios com nomes afro americanos associados a registros criminais recebiam mais cliques do que os demais, sendo assim, recomendados com mais frequência. Em outras palavras, os resultados talvez apenas refletissem o padrão discriminatório de pessoas reais com as quais o sistema aprendeu. Como prevenir problemas como esse?

Mapeando o bias

Quando o viés tá no ingrediente

“Data is food for AI”, frase de Andrew Ng enquanto defendia uma visão data centric em oposição à model centric em uma palestra recente. Segundo ele, utilizar ferramentas que melhorem a qualidade do dado afetam mais a efetividade do modelo do que simplesmente focar na aplicação de técnicas de última geração. Assim como na cozinha, um tomate maduro, orgânico e colhido no tempo certo precisa de pouca coisa para ser delicioso, já um tomate mais sofrido vai pedir acompanhamentos e temperos pra que a refeição valha a pena. Funciona parecido com dados: quando temos inputs de qualidade, em boa quantidade, que refletem a realidade e com labels pertinentes, até modelos mais simples retornam resultados interessantes. E é já na coleta desses dados que o viés pode se apresentar.

Em um hospital da Califórnia, cientistas utilizaram dados de prontuários eletrônicos para entender os fatores que mais influenciavam ataques cardíacos. Entre as variáveis que se destacaram, além de infartos anteriores e existência de doenças cardiovasculares, acidentes domésticos, sinusite e colonoscopia apareceram entre as top variáveis preditoras. Nesse caso, não precisava ser médico pra desconfiar desse resultado… Como uma sinusite afetaria um infarto? O problema aqui era com o conjunto de dados coletados, que reuniu apenas sujeitos que têm tempo, dinheiro e condições raciais e de gênero para realmente utilizar o sistema de saúde. No fim do dia, eles não tinham conseguido medir quem estava mais predisposto ao infarto, mas sim quem tinha tido sintomas, ido ao médico, feito exame e, por fim, recebido o diagnóstico de infarto. Aqui, temos um problema de measurement bias, onde a coleta desses dados enviesou as análises na direção dos indivíduos que mais utilizam o sistema de saúde.

Quando o viés tá na receita

Ingrediente de qualidade, apesar de ser a base da coisa, não é tudo. Uma boa receita é o que vai transformar aquele tomate orgânico maravilhoso no molho da sua vida — pensando nisso, é importante se atentar ao viés que pode estar presente no processo de desenvolvimento, ou seja, na maneira que o código foi construído e pensado. Em machine learning, a definição de ‘sucesso’ de uma aplicação geralmente vai na direção da minimização de uma função de erro ou na maximização de uma métrica de avaliação ou de negócio. Será que as pessoas, definindo tais funções & métricas, conhecem todos os efeitos e sub-efeitos da sua aplicação?

A Amazon tinha criado um sistema para auxiliar no recrutamento e seleção de profissionais, desenvolvendo um algoritmo que avaliasse os currículos dos candidatos e desse uma nota para eles, filtrando as aplicações para o RH. Como dados de entrada, foram utilizados informações de candidatos historicamente bem-sucedidos. A questão é que, devido ao domínio masculino na indústria de tecnologia, a maioria desses candidatos naturalmente era do sexo masculino. O resultado foi um modelo que chegou a penalizar currículos femininos, mesmo que os dados de input não trouxessem essa diferenciação específica. Aplicações de machine learning podem ser muito boas em encontrar variáveis latentes, e você ainda pode ter resultados muito discrepantes em grupos distintos, mesmo que não esteja usando raça e gênero como dados de entrada.

Quando o viés tá nos jurados

Quem nunca se irritou com MasterChef, que atire a primeira pedra. A criação de pratos inatingíveis que envolvem mirtilos flambados no óleo de tucumã traduzem um pouco do risco que as criações correm de perderem sua utilidade quando submetidas à uma avaliação de resultados simplificada. A Lei de Goodhart nos diz que “quando uma métrica se torna uma meta, ela deixa de ser uma boa métrica.”. No fundo, o que a maioria das abordagens atuais de IA fazem é otimizar as métricas — uma abordagem prática e efetiva, mas nem tudo que importa pode ser jogado em um KPI. Vejamos um exemplo.

À medida que a política educacional dos EUA começou a enfatizar excessivamente as pontuações dos testes dos alunos como a principal forma de avaliar os professores, escândalos de profissionais trapaceando para alterar as pontuações dos alunos em seis estados do país despontaram. Nesse contexto, os professores que não trapacearam acabaram penalizados ou até demitidos, já que as pontuações dos estudantes nos testes ‘caíram’ para níveis médios quando eles estavam sob sua tutela.

Outro caso famoso é o de mensuração da redução do tempo de atendimento em Salas de Emergência. Para ‘burlar’ o sistema e não ter o tempo de espera aumentado, cirurgias foram canceladas para alocar mais profissionais nas salas de emergência e não correr o risco do tempo de espera subir; além disso, pacientes foram deixados para esperar em ambulâncias ou em camas nos corredores para não serem computados como waiting time. Quando as métricas recebem uma importância indevida, as tentativas de manipulação tornam-se bastante comuns.

Para saber de que conteúdo os usuários gostam, mede-se em que eles clicam. Para saber quais professores são mais eficazes, medem-se as pontuações dos alunos nos testes. Você quer saber sobre o crime, então você mede as prisões. Esses indicadores não medem as mesmas coisas e são bons exemplos de proxies — ou seja, intermediários. Muitas coisas com as quais nos preocupamos, aliás, não podem ser facilmente medidas sem uma análise ampla. As métricas podem ser úteis, mas não podemos esquecer que são apenas proxies de uma vida real mais complexa.

Humanos têm viés. Qual o problema do viés nas máquinas?

Se algoritmos e sistemas de machine learning podem ser altamente tendenciosos, uma certeza que temos é que humanos certamente também podem. Se não conseguimos eliminar o viés nem de nós mesmos, qual a importância de eliminar — ou conhecer — o viés nas máquinas?

Primeiramente, escalabilidade. Aplicações de IA e machine learning têm o poder de amplificar a magnitude dos vieses, instituindo-os como prática comum. Temos o mundo atual, já cheio de preconceitos e racismo, e temos, por exemplo, um algoritmo de classificação negando crédito injustamente a pessoas de menor renda, em que os falsos positivos podem estar aumentando um problema que já existe.

Vale lembrar que algoritmos são frequentemente usados ​​de forma diferente dos tomadores de decisão humanos: as pessoas têm mais probabilidade de presumir que os sistemas são livres de erros e podem tratá-los como uma autoridade. Sendo assim, aplicações de ML estão mais propensas a ser implementadas sem nenhum processo de questionamento em vigor e com baixo amparo jurídico para apelação.

Buscando compreender e atuar proativamente na prevenção desse tipo de conflito, AI fairness é um campo de estudo que baseia-se em alguns pilares: pesquisa das causas do viés em dados e algoritmos, definição e aplicação de medidas de justiça, desenvolvimento de coleta de dados e metodologias de modelagem mais inclusivas, além do fornecimento de aconselhamento a governos e empresas sobre como aplicar medidas preventivas na construção de sistemas.

 

Depois de desgraça e MasterChef, é hora da sobremesa: vamos falar de soluções.

3 ferramentas para garantir o desenvolvimento ético de produtos

Shannon Valor publicou o que foi chamado de “Ethical Toolkit”, ou Kit de Ferramentas Éticas. Resumo abaixo algumas das várias ferramentas que ela apresenta, mas vale conferir o artigo na íntegra:

1. Risk sweeping: assim como testes de invasão programados e a varredura de risco são ferramentas-padrão das boas práticas de segurança cibernética, a varredura de risco ético é uma atitude indispensável para um bom design e prática de engenharia. Autocrítica e reflexão têm o poder de melhorar nossas criações — e trazer o olhar ético a esse processo é essencial.

 

2. Expansão do Círculo Ético: na maioria dos casos em que uma empresa de tecnologia causou algum tipo de dano moral, o dano ocorreu simplesmente porque designers e engenheiros ignoraram os principais interesses das partes interessadas — sem intenção, muitas vezes eles simplesmente não fazem parte desses grupos. A inteligência Siri, da Apple, não sabia o que responder quando a usuária dizia que tinha sido estuprada, repetindo frases como “não entendi” ou “que tal uma pesquisa na web sobre o assunto?”. Fica difícil pensar na variável ‘estupro’ se todos os desenvolvedores envolvidos são homens. Para mitigar esse tipo de erro, equipes precisam de uma ferramenta que os obrigue a “expandir o círculo ético” — e claro, incluir as partes interessadas para obter perspectivas além das suas.

 

3. Pense nas pessoas terríveis: o pensamento positivo sobre o nosso trabalho é uma parte importante do desenvolvimento ético, mas precisamos considerar que nossa criação pode ser utilizada por aqueles que desejam abusar do poder que a tecnologia proporciona. Um brainstorm de piores cenários é uma ferramenta que ajuda as equipes a gerenciar os riscos associados ao possível abuso de tecnologia.

 

De olho no lattes: o que a academia propõe sobre tema

Datasheets for datasets

Link para o paper: https://arxiv.org/abs/1803.09010

A comunidade de machine learning não possui, atualmente, um processo padronizado para documentar conjuntos de dados. Pensando em resolver essa lacuna, pesquisadores da Cornell University propõem uma ‘ficha técnica’ para os conjuntos de dados, descrevendo suas características operacionais, resultados de testes, usos recomendados e outras informações. Se cada dataset tiver documentando sua motivação, composição, processo de coleta e usos recomendados, a comunicação entre os criadores do algoritmo e os consumidores fica mais objetiva. Não podemos remover o viés do conjunto de dados, mas podemos ser transparentes sobre em que condições os dados foram coletados — como uma ficha de ‘fatos nutricionais’ dos dados.

LaundryML

Link para o paper: https://arxiv.org/abs/1901.09749

Algoritmos ‘black-box’ são soluções que possuem baixa explicabilidade, ou seja, a lógica interna de seu funcionamento está mais oculta e complexa. As abordagens atuais para resolver este problema incluem a explicação do modelo, a explicação do resultado e a própria inspeção do modelo. Embora essas técnicas favoreçam a interpretabilidade da solução, elas podem ser usadas de maneira negativa para realizar o que pesquisadores chamaram de fairwashing, ou seja, a promoção de uma falsa percepção de que um modelo de machine learning respeita valores éticos, sem que isso aconteça na prática. O grupo propõe a solução LaundryML, um framework que retorna uma enumeração de listas de regras de regularização para serem avaliadas na solução. O objetivo aqui é obter regras mais objetivas e justas que possam ser utilizadas para avaliar algoritmos ‘black-box’ problemáticos.

 

Model cards for model reporting

Link para o paper: https://arxiv.org/abs/1810.03993

Neste artigo, pesquisadores propõem uma estrutura chamada de Model-cards para encorajar um relatório de modelo transparente. Model-cards são documentos curtos que acompanham modelos de machine learning treinados, fornecendo uma avaliação comparativa em uma variedade de condições: diferentes grupos culturais, demográficos e fenotípicos, por exemplo, na busca de incluir grupos que são relevantes para os domínios de aplicação, mas frequentemente esquecidos. Os Model-cards também divulgam o contexto no qual os modelos devem ser usados, detalhes dos procedimentos de avaliação de desempenho e outras informações relevantes. O trabalho busca aumentar a democratização responsável do aprendizado de máquina e da tecnologia de IA, aumentando a transparência sobre o funcionamento dos modelos e aplicações.

Data ethics, AI fairness… O nome muda, mas o desafio permanece. São campos novos de estudo e ainda não temos um checklist, uma super To Do List ou uma ferramenta prática e concreta para prevenir ou diminuir o viés em aplicações tecnológicas que utilizam dados. Julia Angwin, jornalista investigativa ganhadora do prêmio Pulitzer, disse que “para resolver com efetividade um problema é preciso diagnosticá-lo — e ainda estamos na fase de diagnóstico”.

Mesmo enquanto ainda estudamos os efeitos do que desenvolvemos, é possível adotar formas proativas para o desenvolvimento de soluções mais éticas: propondo análises autocríticas no ambiente de trabalho, estimulando conversas e trocas com os grupos impactados pelos produtos sendo criados e advogando por um ambiente de trabalho cada dia mais diverso e inclusivo, que contemple todos os grupos e complexidades que a vida real possui.

Este artigo foi escrito a partir de reflexões propostas no curso Data Ethics, oferecido gratuitamente pela FastAI.

Por Leticia Lima Gerola – Cientista de Dados no Programmers Beyond IT