Há alguns anos, o termo Big Data ganhou popularidade. Acreditava-se que a matemática iria ajudar na tomada de decisões mais racionais, precisas e efetivas. No livro Algoritmos de Destruição em Massa, Cathy O’Neil argumenta o contrário: o Big Data aumentou a desigualdade e ameaça a democracia.
PhD em matemática pela Universidade de Harvard, O’Neil chegou à conclusão sobre os problemas de guiar a vida por algoritmos após desenvolver modelos matemáticos para agências de publicidade, fundos de investimentos e empresas de software de risco.
No livro, cujo título em inglês traz o excelente trocadilho Weapons of Math Destruction, a autora dedica capítulos específicos para demonstrar por meio de casos reais como os algoritmos trazem problemas para questões como sistema eleitoral, combate ao crime, concessão de crédito, seleção de empregados e admissão de alunos em universidades.
Nesta breve resenha, vamos ver o que esses capítulos falam sobre como os algoritmos afetam a democracia, o combate ao crime, as finanças, o trabalho e o aprendizado:
- Algoritmos de Destruição em Massa são perigosos para a democracia
- Algoritmos que pretendem prever crimes acabam aprofundando preconceitos
- Cálculos de seguros baseados em algoritmos tendem a ser mais injustos
- A busca por empregos é influenciada por decisões matemáticas
- A disputa por posições no ranking de melhores universidades prejudica a aprendizagem de milhões de alunos
- Algoritmos precisam ser regulados para evitar injustiças que inicialmente parecem boas ideias
Para quem se interessar, as ideias de Cathy O’Neil também são expostas no docmentário Coded Bias (2020) e em um famoso TED Talk chamado A era da fé cega no Big Data tem de acabar.
Algoritmos de Destruição em Massa são perigosos para a democracia
A primeira edição de Algoritmos de Destruição em Massa foi publicada em 2016. Era o ano da eleição de Donald Trump para presidência dos Estados Unidos, que ficou posteriormente marcada pelo escândalo da Cambridge Analytica (veja a resenha sobre o livro Manipulados para entender melhor).
Até então, a crença comum ainda era a de que a tecnologia ajudava a democracia. A internet prometia dar voz aos excluídos, igualar oportunidades e fomentar debates produtivos.
Na prática, a rede foi tomada pelo que Cathy O’Neil chama de algoritmos de destruição em massa. Esses algoritmos transformaram a rede em uma poderosa plataforma de propaganda que manipula eleições traçando perfis baseados em histórico de navegação e comportamento e utilizando publicidade microdirecionada.
A autora cita, por exemplo, um experimento feito pelo Facebook que modificou a linha do tempo de dois milhões de usuários para exibir majoritariamente conteúdos políticos, deixando de lado outros tipos de publicações.
Ao final do experimento, constatou-se que os alvos do experimento estavam mais propensos a ir votar. Como se sabe, o voto é facultativo nos Estados Unidos e boa parte dos esforços de campanha é para fazer o eleitor sair de casa para votar.
A autora lembra que foi a candidatura de Barack Obama, ainda em 2012, que primeiro utilizou de forma mais profissional o poder do algoritmo para angariar votos, engajar eleitores e vencer a eleição. O que no início foi uma vitória do campo progressista acabou sendo capturado por reacionários para difundir ideias que afrontam a própria democracia.
Algoritmos de destruição em massa que pretendem prever crimes acabam aprofundando preconceitos
O problema do uso de algoritmos para a tomada de decisões também afeta a segurança pública, agravando preconceitos contra minorias.
Algoritmos utilizados para prever crimes baseiam-se em dados históricos. Esses dados são informados ao sistema por policiais. Ou seja, por seres humanos que, ao fornecer dados, estão fazendo isso com seus próprios vieses cognitivos.
Um desse vieses é a preocupação prioritária com crimes de desordem pública, como perturbação, brigas de pessoas embriagadas na rua e consumo de drogas. Esses são crimes que acontecem, em sua maioria, em áreas economicamente menos favorecidas.
Direcionada pelos algoritmos, a polícia envia mais viaturas para esses locais. Com mais viaturas, mais crimes são detectados nessas áreas. Isso reforça o preconceito de que existe mais crime em regiões mais pobres das grandes cidades.
Problemas ainda piores acontecem quando os algoritmos são utilizados em sistemas de reconhecimento facial. Alimentados com preconceitos, tais sistemas acabam levando para a delegacia pessoas inocentes, apenas por conta da aparência.
Cálculos de seguros baseados em algoritmos tendem a ser mais injustos
Empresas de seguro utilizam bases de dados para definir quanto cada pessoa precisa pagar para fazer um seguro de vida, de casa ou de carro. Esses cálculos levam em consideração o histórico da pessoa, estimando o risco de o segurado se envolver em algum acidente, incêndio ou colisão, por exemplo.
Entre as variáveis inseridas nos cálculos está, por exemplo, a idade, a cidade onde o segurado vive e até mesmo se a pessoa é uma boa pagadora. Cathy O’Neil dá o exemplo da Flórida, onde pessoas com um histórico de crédito ruim e que nunca se envolveram em um acidente de trânsito acabam pagando mais pelo seguro do carro do que pessoas que tem bom histórico de crédito, mas que já provocaram acidentes por dirigirem alcoolizadas.
Esse é o tipo de cálculo enviesado que faz com que motoristas pobres acabem pagando mais pelo seguro do carro do que motoristas ricos, mesmo que na prática sejam motoristas que se envolvem em menos acidentes.
Com seguros mais caros, esses motoristas tendem a perder alguns pagamentos. Isso prejudica seu histórico de crédito, o que os leva a seguros ainda mais caros, em um ciclo vicioso promovido por algoritmos enviesados.
A busca por empregos é fortemente influenciada por decisões matemáticas
Quando uma empresa grande abre uma vaga, é comum receber centenas ou até milhares de currículos de candidatos. Para facilitar a triagem, muitas usam sistemas automáticos para filtrar candidatos com base em parâmetros como idade, histórico escolar, saúde, testes de personalidade e outros.
Pessoas que foram diagnosticadas no passado com transtorno bipolar, por exemplo, têm mais dificuldade em passar por essa triagem automatizada. Mesmo que tenham controlado a doença e estejam curadas.
Além disso, algoritmos de filtragem podem apresentar resultados injustos quando avaliam equivocadamente alguns parâmetros. O livro cita casos de pessoas homônimas a criminosos que foram rejeitadas em seleções por, equivocadamente, terem uma ficha suja na polícia.
A disputa por posições no ranking de melhores universidades prejudica a aprendizagem de milhões de alunos
Nos Estados Unidos, desde a década de 1980, existe uma intensa competição entre as universidades por posições no ranking nacional de melhores instituições de ensino.
Acontece que, para galgar posições nesse ranking, as universidades focam em entender quais são os parâmetros levados em consideração para definir o que são as melhores instituições de ensino. Uma vez que compreendem o algoritmo, as universidades focam em satisfazer esses parâmetros para obter um melhor posicionamento.
Só que para ter professores mais qualificados, laboratórios mais modernos e instalações mais seguras, as universidades precisam de mais dinheiro. Por isso uma das consequências do ranking de universidades foi o aumento brutal nas mensalidades. Entre 1985 e 2013, por exemplo, o custo do ensino superior nos Estados Unidos subiu 500%.
Outras distorções também acontecem. Um dos parâmetros levados em consideração no ranking, por exemplo, é a taxa de aceitação. Como universidades como Harvard ou Yale tem um baixo percentual de aceitação frente a enorme quantidade de estudantes que desejam lá estudar, o ranking considerou que uma baixa taxa de aceitação é algo positivo.
Isso fez com que universidades que antes eram o plano B de muitos estudantes passassem a rejeitar alunos mais bem qualificados, que provavelmente conseguiriam entrar em instituições de maior prestígio. Isso foi negativo tanto para as universidades, que perderam alguns bons alunos, quanto para os estudantes que tinham nessas universidades um plano B.
Algoritmos de destruição em massa precisam ser regulados para evitar injustiças que inicialmente parecem boas ideias
Boa parte do que O’Neil chama de algoritmos de destruição em massa surgiram como boas ideias. Policiar áreas violentas, selecionar os melhores candidatos a uma vaga de emprego ou listar as melhores universidades com base em critérios técnicos parecem ser atitudes louváveis.
O problema que o livro deixa claro é que essas boas ideias acabam se transformando em mecanismos de perpetuação de injustiças. Incorporam-se aos algoritmos todos os preconceitos e vieses de quem os programou. E quem os programa quase sempre são empresas tocadas pelas camadas mais favorecidas da sociedade.
A solução para isso seria adicionar uma revisão humana a boa parte dos processos que hoje são completamente automatizados ou, melhor ainda, adicionar à automatização critérios mais humanos e menos matemáticos.
