Racismo algorítmico: O que é e quais são os impactos da discriminação racial na tecnologia

[Romildo de Paula Leite]

Reconhecido como uma consequência de enviesamento tecnológico, situação em que se percebe parcialidade em funções computacionais, o racismo algorítmico ocorre quando algoritmos discriminam imagens ou qualquer conteúdo digital de pessoas negras ou não-brancas. Em um recente caso no Twitter, por exemplo, usuários acusaram como racistas os critérios do algoritmo da rede social para cortar e destacar quadrantes de fotos publicadas na plataforma.

Apenas um entre diversos casos de racismo algorítmico, os testes no Twitter foram iniciados com imagens dos políticos norte-americanos Mitch McConnell (branco) e Barack Obama (negro). O programador e engenheiro de criptografia e infraestrutura Tony Arcieri (@bascule) postou duas imagens longas, com fotos de McConnell e Obama em posições alternadas, para ver qual teria prioridade no tuíte final.

O resultado não surpreendeu, e o político branco foi o rosto escolhido pelo algoritmo do Twitter em ambas as imagens.

https://www.hypeness.com.br/wp-content/uploads/2020/09/racismo-algorítmico-twitter-foto-reprodução-twitter-bascule-2-150x150.jpg 150w, https://www.hypeness.com.br/wp-content/uploads/2020/09/racismo-algorítmico-twitter-foto-reprodução-twitter-bascule-2-300x300.jpg 300w, https://www.hypeness.com.br/wp-content/uploads/2020/09/racismo-algorítmico-twitter-foto-reprodução-twitter-bascule-2-768x768.jpg 768w" sizes="(max-width: 800px) 100vw, 800px" />

Algoritmo racista: Twitter é acusado de privilegiar imagens de pessoas brancas

Twitter admite viés racista de algoritmos 

Em resposta aos testes — que se tornaram virais e compararam dezenas de imagens de artistas e personalidades brancas com outras pretas e nã0-brancas —, o diretor de design do Twitter, Dantley Davis (@dantley), admitiu: “É 100% nossa culpa. Ninguém deve dizer o contrário. Agora, a próxima etapa é consertar isso.”

Casos similares já aconteceram com a plataforma de videochamadas Zoom, questionada após um professor negro ter a cabeça ‘cortada’ durante uma aula online em que o educador tentou fazer uso de um fu..., e com sistemas de reconhecimento facial utilizados para facilitar prisões, que já demonstraram predileção por acusar majoritariamente pessoas ....

https://www.hypeness.com.br/wp-content/uploads/2020/09/racismo-zoom-fotos-reproduçã[e-mail] 300w, https://www.hypeness.com.br/wp-content/uploads/2020/09/racismo-zoom...çã[e-mail] 768w" sizes="(max-width: 900px) 100vw, 900px" />

Professor negro de PhD teve cabeça ‘cortada’ por software durante videoaula no Zoom

Ainda pouco palpáveis para quem não sabe muito sobre tecnologia, os impactos e consequência do racismo algorítmico na vida de pessoas negras e não-brancas vão além de menos curtidas em redes sociais.

Como mostra um relatório divulgado este ano por empresas do mercado digital no Brasil, criadores de conteúdo pretos são notavelmente menos convidados para fazer parte de campanhas publicitárias — e não é por acaso. Longe de serem isolados um do outro, o racismo cada vez mais explícito em tecnologias online é reflexo do racismo estrutural enraizado na sociedade.

Da mesma forma que a falta de oportunidades em cargos mais altos, que a prioridade para a contratação de pessoas brancas e que os menores valores de salários impactam a vida profissional e financeira de pessoas pretas, o menor alcance, prestígio e participação de usuários negros na construção democrática de mídias sociais também é capaz de contribuir para a manutenção de sistemas racistas que subjugam e prejudicam milhões de indivíduos de pele escura.

Em um cenário capitalista e neoliberal, as consequências da falta de representatividade são capazes de atingir não só a autoestima de pessoas negras, indígenas e não-brancas — pauta de extrema importância sociopolítica —, mas também (e diretamente) as oportunidades para essas populações no mercado de trabalho, responsáveis pela geração de renda e movimentação da economia.

Para entender como todos esses impactos do mundo online podem atingir o mundo offline, é importante começar do início.

O que são algoritmos e como eles são construídos?

Responsável por alarmar (com razão) milhares de espectadores da Netflix, o documentário ‘O dilema das Redes‘, lançado recentemente, mostrou alguns dos principais perigos e questões envolvidas nas engrenagens por trás das mídias sociais.

Como o próprio filme apresenta, os algoritmos estão na base do que chega até nós por meio de plataformas como Facebook, Twitter, Instagram e Google. Mas o que, de fato, são eles?

https://www.hypeness.com.br/wp-content/uploads/2020/09/o-dilema-das-redes-foto-reproduçã-netflix-300x200.jpg 300w, https://www.hypeness.com.br/wp-content/uploads/2020/09/o-dilema-das...çã-netflix-768x512.jpg 768w" sizes="(max-width: 900px) 100vw, 900px" />

Documentário ‘O dilema das redes’, da Netflix, mostra impacto das mídias sociais na vida dos usuários

Segundo Nina da Hora, 25 anos, estudante fluminense de Ciência da Computação na PUC-RJ, educadora, autodenominada hacker antirracista e divulgadora científica, os algoritmos podem ser comparados a receitas de bolo.

“Algoritmo é um dos conceitos mais básicos da computação, normalmente associado a uma receita de bolo. É um passo a passo para você resolver algo ou para realizar uma atividade, e a complexidade vai aumentando de acordo com a complexidade da atividade ou do problema que você tem para resolver”, explica a pesquisadora em entrevista ao Hypeness.

“No caso das mídias sociais, tem pontos específicos dependendo do objetivo de cada um com o seu público-alvo”, continua a cientista, que foi criada em Duque de Caxias, na Baixada Fluminense. “Então, é algo mais focado em personalizar aquele ambiente digital para cada usuário que está ali.”

Ao mencionar o machine learning (aprendizado de máquina, em tradução livre), o brasiliense Marco Gomes, 34 anos, que foi aluno de Computação na UnB (Universidade de Brasília) e trabalha há mais de 20 anos com internet dentro e fora do Brasil, traz mais alguns pontos de vista sobre o conceito, também em entrevista ao Hypeness.

“Esses algoritmos especificamente, que regem as timelines de redes sociais e as priorizações — algoritmos de recomendação de próximo (proxímo conteúdo, próximo vídeo, próxima foto, próximo story, etc) — eles são, nas grandes redes, algoritmos de machine learning. Eles basicamente são algoritmos em que você coloca uma grande massa de dados nele, ele entende essa massa de dados e gera algum tipo de agrupamento como resultado”, diz o especialista, que cresceu na periferia do Distrito Federal e tem ampla experiência em programação, marketing e dados.

“Então, os algoritmos são, na verdade, para entender padrões. E, a partir, do entendimento de padrões, um ‘humano’ reage enquanto ‘negócios’; e ‘negócios’ vão tomar decisões para incentivar padrões ou desincentivar padrões”, diz Marco.

No caso específico do racismo do algoritmo do Twitter, o brasiliense explica que a falha técnica é, acima de tudo, humana.

O ponto é que o algoritmo passou; o importante é que não teve diversidade na decisão. A pessoa que decidiu não precisava considerar que ela não estava sendo priorizada ali, naquele corte. Foi uma decisão branca. Às vezes, a pessoa que decidiu tem pele preta, mas o sistema é um sistema branco. Essa é a minha hipótese: que esse algoritmo foi testado sempre em uma base de dados tendenciosa. […] É um problema de teste, é um problema de negócios; é um problema de decisão humana. […] Todo humano que lidou com esse processo tem responsabilidade.

As diferentes formas do racismo na tecnologia

Seja na hierarquia das carreiras na tecnologia, seja dentro dos ambientes tecnológicos e de inovação, o racismo se manifesta em diferentes níveis.

Para Nina, é possível identificar a discriminação racial em uma série de fatores, como: “a ausência e a não contratação de pessoas negras nas diversas áreas da tecnologia; a desvalorização do profissional negro dentro de um ambiente tecnológico; nosso sistema educacional falho em diversos pontos, o que prejudica o acesso de mais pessoas negras a áreas tecnológicas; a violência à juventude negra; as tecnologias como não-neutras e sendo comandadas, em sua maioria, por uma perspectiva [única] acabam colocando mais desafios na solução dos problemas já enfrentados pela população negra.”

Para Marco, o preconceito no setor é nítido tanto em território nacional, quanto internacional. “É até clichê falar, mas o mercado de tecnologia é um mercado sexista e racista há muitas décadas tanto no Brasil, quanto nos Estados Unidos. […] Os pretos e latinos continuam subrepresentadíssimos na empresas americanas.”

Em entrevista ao ator Babu, a pesquisadora Sil Bahia, fundadora do Pretalab também já entrevistada aqui no Hypeness, foi outra a se manifestar sobre o assunto.

“É muito difícil de a gente se enxergar em lugares em que a gente não vê ninguém parecido com a gente. E é por isso que eu fui disputar esse campo da tecnologia, porque eu acho que tecnologia é poder, é política, pauta nosso futuro, e eu quero ver mulheres negras pautando o futuro também.”

Consequências do racismo algorítmico

Como consequência do racismo algorítmico, a primeira a ser listada é a invisibilização do trabalho de pessoas negras, indígenas e não-brancas na internet.

“Muitas pessoas negras e ativas nas redes sociais têm pouca visibilidade a seus conteúdos — que normalmente são de qualidade — e aqui não limito somente a influenciadores, mas [também] pesquisadores, professores“, diz Nina.

Pessoas negras de diversas áreas estão produzindo conteúdos diversos nas redes sociais, ajudando a combater a desinformação, e vejo como as redes sociais precisam se atentar e também rever o que é tido como referencial dentro da rede para que o algoritmo engaje. Sendo bem direta: pessoas brancas têm seus conteúdos mais engajados e visíveis para todos, e vejo isso em qualquer área, mesmo quando é uma desinformação.

“Infelizmente, o racismo tem o [mesmo] poder de estrago no ‘digital’ que ele tem no ‘real’. E a gente está falando de tudo, inclusive da morte, da limitação econômica, do exílio político forçado”, complementa a fala de Marco. “Do ponto de vista prático, agora, influenciadores pretos perdem nos algoritmos exatamente por esses problemas de preconceito generalizado.”

Isso é até um problema de emprego, econômico. Quando você tira visualização dos influenciadores, você tira toda uma vertente cultural, você tira dinheiro desses influenciadores e de todo mundo que envolveria essa economia: editores de vídeo, produtores de produtos (roupas, canecas), maquiadores, maquiadoras. Você tira programadores e programadoras do mundo da tecnologia — porque as pessoas vão ter menos interesse — você tira educação, você tira as pessoas dos mercados de engenharia, matemática e ciência. É um problemaço.

https://www.hypeness.com.br/wp-content/uploads/2020/09/fenty-beauty-foto-reprodução-instagram-150x150.jpg 150w, https://www.hypeness.com.br/wp-content/uploads/2020/09/fenty-beauty...ção-instagram-300x300.jpg 300w, https://www.hypeness.com.br/wp-content/uploads/2020/09/fenty-beauty...ção-instagram-768x768.jpg 768w" sizes="(max-width: 800px) 100vw, 800px" />

A marca Fenty Beauty foi criticada por incluir poucas influenciadoras negras na divulgação da marca no Brasil

Caminhos possíveis para a mudança

Segundo diversos especialistas na área, não há uma resposta única para eliminar o racismo e a discriminação de algoritmos. Mas há sugestões e caminhos possíveis.

Para o caso do Twitter e também para a luta antirracista na tecnologia no geral, Nina da Hora propõe algumas alternativas.

“Uma possibilidade que alguns pesquisadores apontaram também — como o André Mintz, da UFMG [Universidade Federal de Minas Gerais] — é o Twitter permitir que o corte da imagem seja feito pelo próprio usuário. Isso, claro, falando da perspectiva técnica”, diz a cientista da computação.

Outras dicas mais abrangentes para que a perspectiva branca seja alterada na tecnologia, seria a de ter mais pessoas negras, LGBTQI+ e pessoas com deficiência liderando as criações tecnológicas, e não somente como desenvolvedoras, mas como parte de tomadas de decisões. A invisibilização neste processo interfere muito no produto final.

Marco Gomes também vê saídas para um futuro menos discriminatório e mais inclusivo no meio tecnológico e digital.

Comitês de ética, transparência, dizer como os algoritmos funcionam, manter os algoritmos sob controle, porque hoje eles são descontrolados (descontrolados no sentido de que, a gente pede um objetivo para ele, e não sabe como ele chegou nesse objetivo). […] Algoritmos são tão poderosos quanto energia, quanto petróleo. […] Tem que ter regulação. Parar de deixar as empresas fazerem o que elas quiserem. Ter um pouco mais também de controle social, de ação coletiva. […] A gente pode se organizar, enquanto coletivo, para não deixas as empresas nadarem sozinhas e extraírem valor sozinhas.

Atitudes como a do Google de mudar o algoritmo do mecanismo de buscas para que a palavra ‘lésbica‘ não levasse mais a resultados relacionados à pornografia, e como a do Spotify de dar destaque a produções de criadores de conteúdos negros dentro da plataforma de streaming são passos iniciais de ações urgentes que moldarão os próximos passos da ética e da diversidade na tecnologia.

Bárbara Martins

Criada em Duque de Caxias, na Baixada Fluminense, é jornalista, fotógrafa e videomaker. Envolvida pela cultura, história e arte de subúrbios e periferias, dedicou pouco mais de dois anos à cobertura de pautas relacionadas à música como redatora do site Reverb, antigo parceiro do Rock in Rio. Em formação pela UFRJ, também tem experiência com produção de conteúdo para redes sociais, assessoria de imprensa e gravação de sessions e entrevistas.

https://www.hypeness.com.br/2020/09/racismo-algoritmico-o-que-e-e-q...

Para participar de nossa Rede Têxtil e do Vestuário - CLIQUE AQUI