Esta é a terceira da série de entrevistas sobre inteligência artificial, algoritmos e plataformas de internet, que compõem o nosso Especial Inteligência Artificial. A entrevista, realizada em 2020 por membros do InternetLab, é complementar às entrevistas realizadas pelos alunos integrantes do Núcleo de Direito, Internet e Sociedade (NDIS). O NDIS é atividade de cultura e extensão da da Faculdade de Direito da USP (FDUSP) oferecida em parceria com o InternetLab desde 2015.

Carla Vieira é pesquisadora de inteligência artificial e co-fundadora do perifaCode.

Nesta entrevista, ela discutiu discriminação e viés algorítmico, transparência e explicabilidade da inteligência artificial, descolonização da IA, além da sua experiência como desenvolvedora e programadora trabalhando com essas questões. 

A própria matemática não é completa e é importante ter isso em mente quando a gente constrói tecnologia (…) Isso tem muito a ver com os casos de discriminação que a gente tem visto, justamente por essa crença de que a tecnologia e a IA são coisas neutras… “São neutras, elas só propagam vieses do mundo, não há nada que a gente possa fazer” – só que não é bem assim, tem várias coisas que a gente pode fazer.

Confira a entrevista com Carla Vieira na íntegra

São cada vez mais recorrentes os casos de discriminação envolvendo ferramentas da Inteligência Artificial, que mostram–se discriminatórias em situações envolvendo principalmente raça e gênero. O que você acha disso e como tem sido a sua abordagem sobre o tema?

Tem várias definições de inteligência artificial, e ao contrário do que as pessoas pensam, não é um conceito novo, é um conceito bem antigo dos anos 50, 40, que vem justamente da ideia de utilizar a máquina para reproduzir comportamentos humanos. Então eu costumo definir inteligência artificial como uma forma de explicar para as máquinas certos aspectos do nosso mundo. Eu não gosto muito da ideia da visão subjetiva de uma entidade ou de algo além do que a gente já vive, ou uma coisa muito abstrata, porque acaba criando essa ideia de neutralidade que tem tudo a ver com essa questão de discriminação que a gente está vendo acontecer, né? Então essa definição, de ensinar para as máquinas aspectos do nosso mundo, é importante, porque nessas últimas polêmicas de discriminação, uma das coisas que eu notei foi que várias pessoas fora da área estavam dando opiniões justamente no sentido de “ah, mas o algoritmo funciona assim, você joga os dados lá e roda e é isso aí, o ser humano não tem papel nem nada”, justamente porque vê como uma entidade, como algo que realmente é só “apertar o botão”, e na verdade não é só apertar um botão, né? Tem várias etapas para você construir um algoritmo, desde os dados que você vai coletar, quem vai coletar, quem vai controlar, como você vai parametrizar esses algoritmos… Tem vários parâmetros matemáticos, testes, tentativa e erro… Então eu gosto mais dessa visão de que explicamos para as máquinas aspectos do nosso mundo, usando computação, matemática e estatística para isso. E a própria matemática não é completa, né? Eu dei uma palestra ontem e mencionei um teorema que eu achei muito interessante, que é o teorema da incompletude de Gödel, onde ele fala que a própria matemática não é por si só completa. Ela é baseada em axiomas que a gente não tem como provar; usamos isso como uma autoridade e vamos construindo a matemática em cima disso, né? Então, alguém te falou “a gente vai cruzar como dado o axioma de que a+b=b+a e que a ordem dos fatores não altera o produto”; não tem como você provar isso. Então a própria matemática não é completa e é importante ter isso em mente quando a gente constrói tecnologia, quando a gente pensa em algoritmos. Porque isso tem muito a ver com os casos de discriminação que a gente tem visto, justamente por essa crença de que a tecnologia e a IA são coisas neutras… “São neutras, elas só propagam vieses do mundo, não há nada que a gente possa fazer” – só que não é bem assim né, tem várias coisas que a gente pode fazer. A minha pesquisa tem se dedicado a explicar esses algoritmos: como explicar pro usuário final ou para um cientista de dados como aquele algoritmo funciona, e como criar técnicas para tentar minimizar essas discriminações. Então, tentar entender vieses, como a gente pode usar essas técnicas para detectar vieses antes de esses algoritmos serem publicados ou colocados em produção. Tem algumas pessoas já, inclusive eu, trabalhando para pensar nisso. As outras formas que eu vejo são realmente sociais; eu acho que essa educação das pessoas da computação de serem mais humildes e entender que a tecnologia tem limitações, e entender essas limitações, é algo que pode ajudar muita gente a resolver e entender problemas que não são fáceis de serem resolvidos usando tecnologia. Hoje eu consigo ter mais essa visão de que nem tudo a tecnologia vai resolver, nem tudo a inteligência artificial vai resolver. Essa tentativa excessiva de usar IA pra tudo, usar tecnologia para tudo, está trazendo muitos mais problemas e eu entendo que pensar nisso às vezes é difícil para as pesquisas e para as empresas, justamente porque isso pode significar encerrar projetos, como a Amazon, a IBM, fizeram esse ano temporariamente, pelo menos. Interromper pesquisa de reconhecimento facial, desenvolvimento e venda dessas tecnologias para segurança pública, justamente por ver que ela está trazendo mais impactos negativos para a população, para população negra em especial, do que impactos positivos ou sendo o que a gente queria no começo, né? Que a justificativa era essa de “vamos usar inteligência artificial para que as máquinas tomem decisões melhores que as nossas, menos enviesadas, menos tendenciosas” e o que a gente está vendo é o efeito oposto: elas tomando decisões tão tendenciosas quanto as nossas e escalando isso de uma maneira muito grande né, exponencial. É diferente do que o ser humano consegue fazer.

Como essas discriminações e vieses realmente surgem? Quais são os efeitos disso e sobre quais populações? 

Bem, eu acho que tudo começa com os dados, né? Os algoritmos precisam de algum tipo de informação para fazer o que a gente chama de reconhecimento de padrão. Então, se a gente for utilizar um algoritmo para calcular a reincidência criminal, ele precisa entender e reconhecer padrões que determinem que aquela pessoa em específico tem um índice alto ou baixo de reincidência: é um exemplo bem utilizado que é o COMPAS, que ficou bem famoso devido aos vieses que ele tinha. E aí, para esse algoritmo ser treinado, a primeira coisa que ele recebe é informação, então ele vai precisar dos dados de cada pessoa que está sendo acusada de um crime ou julgada e vai precisar de nome, idade, raça, gênero – não digo que é o que vai precisar, mas é o que geralmente se coloca – onde aconteceu o crime, qual foi o crime cometido, talvez antecedentes criminais, se aquela pessoa já cometeu crimes antes, enfim. Eles vão coletar várias informações daquelas pessoas para tentar montar um perfil e tentar generalizar, e aí começamos a ver várias problemáticas nisso porque nesses dados vão ter vieses humanos, né? A gente já sabe historicamente que juízes são enviesados, assim como recrutadores são enviesados. Então, no exemplo de recrutamento é a mesma ideia: vai ter o nome, o tempo de experiência da pessoa, o cargo que ela está hoje, quanto que ela ganhava – vai ter várias informações no currículo dela e o que vai ser utilizado para treinar esses algoritmos são esses históricos de decisões que já têm vieses humanos. A gente já sabe que a justiça é enviesada, ela é seletiva tanto no Brasil quanto em outros países, e penaliza pessoas negras, e isso também acontece em recrutamentos. Então se a gente pensar, os algoritmos de recrutamento, como já aconteceu, vão penalizar mulheres porque historicamente recrutadores já estavam fazendo isso e penalizando mulheres para certas áreas. Então quando você coloca esses vieses dentro do algoritmo, ele vai levar esse viés para fora, ele não vai fazer isso desaparecer, ele vai usar esses vieses como uma forma de reconhecer padrão. No caso do COMPAS, eles até tentaram remover a raça, só que aí a localização, onde o crime ocorreu, continuou sendo um indício da raça da pessoa justamente porque nos Estados Unidos tem esses focos muito específicos dos bairros, né? E é muito difícil fazer essa desvinculação, é realmente muito difícil analisar isso e entender como esses vieses acontecem, como a gente pode mudar esse cenário. Tem várias  possibilidades, tecnicamente falando, de perturbação de dados, de tentar, se você tem poucos dados, aumentar a quantidade de dados que você tem. Porque se não, [o algoritmo] não vai ser tão bom como ele poderia ser para tratar casos diferentes do que ele já tinha na sua base de treinamento. O “treinamento” é justamente essa etapa de dar os dados para o modelo aprender a reconhecer padrões e entender como ele vai tomar decisões a partir desses padrões que ele reconheceu – decisões no futuro com dados novos né. Então se uma nova pessoa vai ser julgada, ele vai olhar os dados que ele já tem, vai analisar onde essa pessoa se encaixa, faz um “match” e vai fazer uma predição específica para isso. E aí é nesse momento que esses vieses humanos entram na tecnologia e os algoritmos só os automatizam, basicamente; eles não melhoram o cenário. Se o processo na vida real é ruim – ruim quero dizer que isso é um processo que faz a empresa perder dinheiro, ou que no caso propaga vieses discriminatórios, o algoritmo também vai reproduzir um processo que já é ruim na vida real. Ele não vai fazer mágica, não existe muito o que ele possa resolver se os dados são ruins, se os dados são enviesados, se eles são racistas ou sexistas.

O que você acha da expressão “viés algorítmico”? Há a discussão de que “discriminação algorítmica” ou variantes como “racismo algorítmico” poderiam ser mais precisas.

Esse debate eu conheço um pouco sim. Eu acho que, eu tive até uma conversa com o pesquisador Tarcízio Silva uma vez e ele me passou a perspectiva dele, que eu passei a concordar bastante, de que chamar de vieses algoritmos e de vieses inconscientes, principalmente, é muito uma forma de mascarar esse debate, sabe? É muito uma forma de não realmente colocar na prática o que está acontecendo. São preconceitos humanos, eles não são tão inconscientes quanto a gente pensa; hoje em dia eu tenho muito mais consciência sobre isso, né? Quem está atuando na área, quem pesquisa, mesmo cientistas de dados nas empresas, já têm consciência de que isso é debate; a população em geral já está tendo consciência de que isso é um debate. Eu acho que já é o momento em que a gente tem que parar de falar de viés inconsciente, porque a gente já tem consciência de que temos vieses porque eu já cheguei a escutar em uma live de uma cientista de dados e pesquisadora, e foi por isso que eu conversei com o Tarcízio, que não tinha nada que a gente podia fazer, nada que as empresas poderiam fazer, justamente porque os vieses são inconscientes. Aí eu falei “não, isso é muita ingenuidade ou é muito mau caratismo”. Não é tão inconsciente quanto a gente acha, ele é bem consciente, a gente já tem formas de tratar, então gosto muito de, sempre que eu falo de vieses, falar que eles são preconceitos humanos; vieses é igual a preconceito. Por isso que a gente fala de racismo algorítmico, ou vieses de gênero. A gente vai usando esses termos novos, justamente para deixar isso mais escancarado e mais marcado. Eu tenho tendido a concordar em usar esses termos por mais que eles choquem no começo, eu acho que esse choque também é importante.

Sobre as medidas de mitigação de vieses ou discriminação algorítmica, o que você tem pensado e desenvolvido, ou visto na indústria? O que um desenvolvedor de uma IA pode fazer hoje para fazer frente a esse tipo de coisa e quais são os desafios nesse sentido?

São vários desafios, e eu vou começar com um deles. A gente tem que pensar de que problema a gente está tratando. Se a gente está falando de dados textuais ou numéricos, se a gente está falando de imagem, já que as técnicas que a gente vai utilizar para cada tipo de dado são diferentes. Então, por exemplo, se eu quero analisar vieses nos algoritmos que analisam textos porque tem algumas formas de conteúdo que usam esse tipo de moderação de texto para analisar discurso de ódio, por exemplo, e já teve casos que pessoas, principalmente afro–americanas, que eram mais penalizadas nessa questão de discurso de ódio, sendo que não era discurso de ódio, ou termos LGBT que eram considerados como violência e na verdade não eram. Então cada tipo de dado, como texto, dados textuais, dados tabulados ou imagens – cada um deles tem uma abordagem diferente. Eu tenho pesquisado em específico dados tabulados, e é bem difícil, bem desafiador, porque, em contraposição, na imagem fica muito escancarado o racismo algoritimico ou os preconceitos e a discriminação, fica muito claro o que está acontecendo, né? Você vê um algoritmo no Google classificando uma pessoa negra como um gorila, ou uma mão negra com um termômetro na mão, como teve um exemplo recente, como sendo uma imagem de violência… é muito claro, é muito escancarado. Mas não é só nas imagens que esse viés está presente, né? Em dados tabulados é mais difícil, é mais invisível, eu diria. Esse tem sido meu desafio pessoal, inclusive, de detectar esses vieses. Em imagens, o que se tem feito, é fazer explicações das imagens, entender quais áreas das imagens o algoritmo utilizou para fazer uma classificação. Então tem algumas técnicas que, durante a execução de redes neurais, principalmente, elas extraem, a cada passo do algoritmo que for sendo executado, a imagem que você colocou no começo, e vêem como ele tratou aquela imagem ao longo do caminho, colocando um mapa de calor na imagem entender quais áreas foram mais determinantes para o resultado final. Então, qual foi a área daquela imagem que fez com que o algoritmo classificasse uma mulher negra retinta como um gorila e não como um ser humano? Coisas desse tipo. E é uma forma interessante de analisar e entender esses algoritmos que utilizam imagens como dado. Para dados tabulados, que é o que eu estou pesquisando, é um pouco mais difícil, mas tem algumas formas, né? No geral, já se tem tendido a remover informações de gênero e raça. Um algoritmo médico recente teve um problema com vieses racistas, que ele utilizava dados e tinha pouca representação de pessoas negras nos dados. Então uma forma já teria sido, logo no começo do algoritmo, analisar essa questão de localização, então algumas propostas têm sido como “vamos analisar o nosso algoritmo, vamos analisar os dados dele, entender em vários aspectos como esses dados são, se eles são diversos”, por exemplo. É uma forma de analisar tecnicamente, antes de treinar o algoritmo, se os dados que você tem são diversos, “eles tem tantos por cento de homens, tem tantos por cento de mulheres” ou “tem tantos por cento de pessoas brancas, tem tantos por cento de pessoas negras”. É uma análise exploratória de dados, como a gente chama, que serve para entender se os dados são diversos, se as variáveis que você está analisando são suficientes para tratar aquele problema que você está propondo a resolver ou não. Por exemplo, no caso do COMPAS, se ele entendesse tanto que para pessoas negras quanto pessoas brancas a predição de crime é a mesma, isso sem considerar outras variáveis, né? Excluindo todas as variáveis e olhando só a raça, se ele faz algum tipo de discriminação. Isso é uma coisa que já daria para ter feito, naquela época talvez não porque esse debate não estava muito em alta, mas hoje já dá para ser feito. Tem umas métricas específicas para isso, que olham essa questão de grupos, para entender como o algoritmo atua em diferentes grupos, para entender, se você perturbar os dados, se alguma coisa muda. Então, se eu mudar os dados de uma pessoa branca em um score de crédito por exemplo, pegar os dados de uma pessoa que mora no sudeste, a mesma renda, todas as informações, e só mudar a região em que ela mora, o algoritmo penaliza ela pela região que ela mora? É um exemplo que usa a perturbação de dados para manipular isso e entender o impacto de cada variável, se ela tem impacto positivo ou negativo na predição final.  Então tem várias formas, mas ainda não tem um framework pronto que você aplica, sabe? Ainda são várias técnicas tentando tratar problemas diferentes. Falei de analisar essa questão de grupos, analisar o impacto de cada variável no modelo final… Tentar algo que unifique essas técnicas e que trate o problema de uma forma só ainda é um desafio bem grande. Até porque a distribuição dos dados nem sempre é linear; a gente consegue colocar uma reta e dividir os grupos e muitos algoritmos de explicabilidade, técnicas em python que utilizam linguagens de programação, elas não tratam toda a distribuição de forma tão uniforme assim, que é mais complexa, e aí esses algoritmos acabam tendo dificuldade. E eu acho que o último conceito que pode ser legal pra quem for ler e entender é que existem dois tipos de explicações quando a gente fala de explicar algoritmos, a local e a global. A local é entender em uma instância específica por que o algoritmo teve aquela predição, e tem tido alguns estudos para gerar explicações contrafactuais a partir disso. Então explicações contrafactuais seriam, se por exemplo um banco rejeitou um empréstimo, entender porque naquele cliente o algoritmo rejeitou o empréstimo, se falou que ele tinha um score baixo ou falou “não, ele não precisa de empréstimo por tais informações” e oferecer uma explicação contrafactual do que aquele usuário, cliente, poderia mudar para que no futuro aquele empréstimo dele fosse aceito. Como se por exemplo “comparando com as pessoas aqui no nosso banco de dados que tiveram o empréstimo aceito pelo algoritmo, se a pontuação desse cliente fosse 100 pontos maior no escore ele teria sido aceito” ou “se o salário dele fosse 100 reais maior, o empréstimo teria sido aceito”. Então tem um outro caminho que tem se seguido também esse ano – tem vários artigos especialmente desse ano falando disso – justamente para, pensando no usuário final, que a ação que ele pode tomar. Isso também é complexo, porque de repente uma coisa que o algoritmo pode falar é que a ação que ele pode tomar é triplicar o salário dele. Você fala “nossa, isso é uma explicação contrafactual para o usuário mas não é factível ele fazer isso”. Então também tem uma ideia de incluir os usuários finais nessa conversa para que eles determinem qual é o limite que o algoritmo pode oferecer de ação, ações que o usuário pode tomar, né, o que é factível ele fazer ou não. Porque o algoritmo não tem muita noção, ele sabe falar “comparado com as pessoas lá, se ele fosse triplicar o salário ia dar certo” mas isso não é factível no mundo real e a gente tem formas de os usuários explicarem para o algoritmo o que é factível e o que não é factível. Então tem vários cenários aí acontecendo.

Você trabalha como engenheira de software na Loggi e é Machine Learning Expert pela Google Developers. Dentro das grandes empresas há uma discussão sobre diminuir o viés de algoritmos e aumentar a transparência do uso de dados? 

O Google tem estudado bastante sobre essa questão de explicabilidade, ele até propôs algumas técnicas para documentação de modelos. Então, tem um artigo que chama “Data Archives for Data Sets” que esse artigo fala sobre como criar – a Google tá usando isso – que é uma documentação do modelo. Ela nunca tinha pensado nisso: como que a gente documenta um modelo? Óbvio que tem documentação – bibliotecas do processo têm documentação – mas como que a gente documenta um modelo pensando nas limitações dele? Então é dizer o que modelo pode fazer, o que ele não consegue fazer, né? Para explicar também onde ele poderia ser utilizado, onde ele não pode ser utilizado, sobre a parametrização, que tem vários parâmetros que são feitos nos modelos: por que esses parâmetros foram utilizados por quem criou, e aí vem a responsabilidade humana de quem criou esse modelo. Então essa proposta deste “data archives for data sets” da Google é meio que isso, mas eu não vi muitas empresas usando assim porque ele é bem focado no TensorFlow, que é da Google, mas já tem sido um caminho para as empresas pensarem isso, mas eu não tenho visto… eu também não tenho muita vivência nisso, eu não tenho visto muitos movimentos além dos que eu citei, não. Fica mais nessa superfície mesmo.

Você acredita que a inteligência artificial explicável, seu tema de pesquisa no mestrado, é uma das formas de resolver o enviesamento dos algoritmos? Qual é a importância deste entendimento?

Então, a inteligência artificial explicável é muito importante, mas ela tem as suas limitações, né? Eu citei um pouquinho sobre essa questão de que cada dado a gente tem que criar técnicas diferentes e por si só, se os dados forem enviesados ou se a gente não deveria estar resolvendo aquele problema de tecnologia, ela já tem suas próprias limitações para a gente refletir sobre em que situações ou problemas a gente está usando algoritmos. Mas acho que ela é muito importante porque a gente consegue antecipar alguns problemas, sabe? Tanto esses problemas que a gente está vendo, tipo algoritmo de recorte do Twitter, já poderia ter sido antecipado e acaba sendo uma experiência ruim que a empresa oferece para quem está utilizando a plataforma, e escancara um problema muito maior, obviamente. A gente tem que se aprofundar nas discussões. Mas aí a IA explicável é essa ideia de desenvolver esses métodos para ajudar empresas e desenvolvedores a entender como esses algoritmos funcionam. E eu acredito também que ela pode ser uma ferramenta open source, pública, para de alguma forma a gente inspecionar algoritmos que já dão utilizados. Então, muitas das pesquisas que já falam sobre racismo algorítmico nos mecanismos de busca, racismo algorítmico num algoritmo de saúde… passam muito por essa questão de tentar hackear esses algoritmos públicos, fazer algum tipo de engenharia reversa e usar essas técnicas para entender se eles têm vieses ou não, né? O Google não vai publicar o algoritmo e sair falando que o algoritmo dele é racista. São pesquisadores de fora, independentes, que vão lá se propor a analisar aquilo e vão precisar de ferramentas para conseguir analisar esses algoritmos e entender se eles têm vieses ou não. Então acaba sendo também uma ferramenta de denúncia e também de dar um pouco de poder para quem tem um pouco de experiência na área… Claro que é uma parte bem técnica, de conseguir lidar com isso – principalmente pesquisadores – de conseguirem entender se esses algoritmos têm vieses ou não. É uma forma de provar também que existem vieses ou algo do tipo. Não vejo isso como algo tão interessante para as empresas, mas talvez para a gente enquanto população, pesquisador, de ter esses tipos de ferramenta.

Além desse controle pelos pesquisadores para a gente entender como o algoritmo está funcionando, você vê importância de transparência de outras formas para leigos e para o governo? Além do próprio algoritmo explicável, de que forma você acha que a transparência pode ser importante?

Eu acho que a transparência é muito importante, né? Uma forma de transparência sobre entender o que uma coisa é, como ela funciona e porque ela funciona daquela forma né? Então entender o algoritmo, o que que ele é, como ele funciona e porque que ele toma aquelas decisões. E tem tido essa nova onda de explicabilidade. Várias das técnicas de explicabilidade mais antigas, de 2016, são muito focadas nas pessoas que pesquisam IA, e aí fica muito monopolizada essa discussão, muito pouco acessível. E essa nova onda de pesquisadores, e eu me incluo nela, tem pensado que a gente tem diferentes tipos de usuários, né? A gente tem, sei lá, pensando em um banco, que eu falei o exemplo de empréstimo, a gente tem: o cliente final, o cientista de dados que cria aquele modelo, o gerente. Então cada uma dessas pessoas vai ter que ter um entendimento diferente daquele algoritmo né? Uma explicação diferente vai ser necessária e as técnicas hoje oferecem gráficos, enfim, muitas coisas numéricas e matemáticas que uma pessoa leiga não vai entender. Então tem tido essa nova onda de pensar nos usuários finais e pensar em uma transparência para o público geral. Então se o governo está utilizando um algoritmo para tal situação, de que forma, assim como a gente tem dados abertos hoje, a gente pode publicar o algoritmo aberto? É toda uma discussão de qual nível de transparência necessário para, dependendo do uso do algoritmo, não arriscar a segurança das pessoas ou colocar em risco alguém. Então essa questão que eu mostrei da documentação é uma coisa que eu achei bem interessante nesse sentido, de documentar algoritmos, explicar para que ele foi feito, quem criou, de onde vieram. Talvez não expor os dados, talvez não expor todas as informações, dependendo do nível de segurança e do nível de transparência que vai conseguir ser dado, mas: de onde vieram esses dados, quem são as empresas envolvidas?  Está sendo terceirizado, não está sendo terceirizado o uso desse algoritmo? Eu acho que esse é um tipo de transparência que a gente precisa ter, principalmente se o governo vai utilizar inteligência artificial para alguma situação, vai fazer coleta biométrica ou vai pensar em reconhecimento facial… Então eu acho que é sim importante, principalmente para o público, para sociedade civil, ter isso de forma mais aberta, inteligível. Assim como a gente já optou por dados abertos em algum momento, a gente vai ter que começar a discutir essa questão de algoritmos abertos e de que nível de transparência a gente vai precisar e como isso vai ser feito.

O que você acha do aumento da diversidade, qual é a importância disso nos próprios times de desenvolvimento? O quanto que isso tem sido levado em frente e o quão sério tem sida levada essa discussão?

Eu acho que nem tem como falar desse assunto sem falar em diversidade, de verdade. Eu sempre falo isso nas palestras e apresentações porque às vezes as pessoas se incomodam com esse tema, porque elas falam “achei que ia ser uma palestra técnica” e na verdade não, né. É um tema super importante porque justamente a gente não pode deixar pessoas que são impactadas historicamente e marginalizadas historicamente fora dessas discussões, né? Porque essas tecnologias e a IA já estão mudando o futuro, como a gente pensa, mudando a sociedade em si, e a gente não pode deixar esses grupos fora da discussão, então é muito importante. É o meu papel, e hoje eu reconheço isso, o papel de outros pesquisadores da área, pesquisadoras, justamente trazer essas visões diversas e essas discussões para a mesa, né? Não vão ser pessoas brancas que vão trazer a discussão de racismo algorítmico para mesa, muitas vezes, e não vão ser homens que vão trazer a discussão de machismo e sexismo nos algoritmos para mesa, então é importante também ouvir essas outras vozes e ouvir também a sociedade civil no geral. Essa eu acho que é uma parte mais difícil, mas entender principalmente em algoritmos utilizados pelo governo, como que a sociedade civil entende isso, lida com isso, ou se ela realmente entende quais impactos pode ter na sua vida, no seu dia a dia. Mas essa é uma discussão que eu acho bem desafiadora no Brasil também, mas eu acho que é essencial ter diversidade na tecnologia justamente porque, pensando em vieses, todos nós temos os nossos, né? Acho decoque é meio que muitas pessoas falam “nossa nunca tinha pensado nisso, eu não sabia que isso era um problema” e é justamente isso, as pessoas não sabem que é um problema, nunca tinham pensado nisso, e tendo pessoas diversas no time, elas vão apresentar problemas, vão propor soluções, e vão trazer seus pontos de vista e suas vivências para a tecnologia que elas vão construir. Eu acho que isso é extremamente essencial e importante.

Eu queria que você falasse um pouco sobre o perifaCode. Como ele surgiu e como que ele se insere no que a gente conversou até agora? 

Bem, o perifa (carinhosamente é como a gente chama internamente), surgiu no ano passado, em março – a gente fez um pouco mais de um ano. Surgiu na ideia realmente de fazer eventos, como existe em outras comunidades de programação aqui no Brasil e fora do Brasil. Só que com o tempo, a gente foi percebendo nosso papel como movimento social, sabe? Não era só fazer eventos, não era só palestrar, o nosso papel é muito mais do que isso – a gente sentia essa necessidade, essa responsabilidade, de ser mais do que isso, né? Não era só uma comunidade de programação pra falar de javascript, por exemplo, não é só isso. É realmente um movimento de fortalecer pessoas periféricas que trabalham na tecnologia. A gente é bem ambicioso nesse sentido de realmente unificar esses profissionais, trazer mais pessoas para essa área para construir essas tecnologias. Então entra muito nessa linha de trazer diversidade, trazer inclusão, mostrar que a tecnologia é um caminho. Falar também que no futuro a gente tem cada vez mais visto quantas skills de tecnologia são necessárias para qualquer área né, para marketing, para direito, enfim, para recrutamento, e como a gente pode trazer essa democratização desse acesso à tecnologia através do perifaCode, né? E trazer mais pessoas para a área, capacitar essas pessoas e trazer discussões importantes para que elas consigam entrar na área, o que já é difícil porque às vezes não tem computador, não tem acesso, tem várias dificuldades. Onde a gente mora acaba sendo um impeditivo para algumas empresas aceitarem currículo, então isso tem sido um papel bem importante. E agora a gente já tem cerca de um ano, a gente está no processo de consolidação como ONG para conseguir participar de editais do governo, editais públicos, conseguir captar recursos para a gente ter ações mais efetivas na periferia em si, que é uma coisa que a gente queria muito fazer esse ano mas com pandemia e tudo não deu certo. E para o ano que vem a gente realmente quer ir em escolas públicas, quer ir em ETECs, fazer feiras de profissões, fazer vários projetos que a gente tinha em mente, e esse tipo de formalização vai ajudar muito a gente a ter essa perspectiva. Porque eu fico pensando em futuro do trabalho, principalmente, e a gente sabe que isso vai acontecer. Já aconteceu em algum grau e vai continuar acontecendo, né? Então caixas de mercado… eu sei que isso é futuro, mas a população que está mais preparada para isso é a população periférica, né? A gente é a base da sociedade, a gente é recepcionista, a gente é caixa de supermercado, a gente é doméstica… e como a gente vai estar posicionado nesse futuro? A gente não vê perspectiva do governo brasileiro pensar em renda mínima, pensar em como lidar com isso, e a gente acaba que somos nós por nós né? A gente fala que é isso né, “tudo que nois tem é nois”, como o Emicida fala. Então acaba sendo necessário que a gente pense por nós, como que a gente pode trazer esse conhecimento para a periferia para que as pessoas tenham essa capacitação tecnológica para lidar com o futuro que está vindo aí.

Tem mais algum comentário final que tenha vindo à sua mente?

Olha, tem uma assunto que veio na minha cabeça porque eu tenho uma apresentação hoje sobre esse assunto. Mas é um assunto recente, tem pouca pesquisa aqui no Brasil e tem pouca pesquisa lá fora também, mas tem bastante gente passando a discutir a descolonização da inteligência artificial. Até teve uma época de discussão e várias teorias sobre descolonização de dados, né? Ou melhor, sobre colonização de dados, sobre como a gente perpetua essa questão de colonialismo através dos dados hoje, como a gente continuou nessa situação de diferentes poderes. Inteligência artificial e de como, por exemplo, vamos discutir regulamentação de IA – quem está discutindo regulamentação de IA?  Europa? Estados Unidos? E os países latinos?  E os países africanos? Como eles estão nessa discussão de regulamentação de IA no mundo todo? Como que o uso de IA está sendo discutido no contexto local de cada país? Porque alguns pesquisadores têm acreditado que tem sido importante trazer essas teorias decoloniais para entender como os algoritmos afetam as vidas dos países que foram colônias um dia e como isso continua ainda hoje. Tem sido uma perspectiva nova para mim; li um artigo essa semana sobre isso e é uma coisa que eu achei bem interessante. É uma perspectiva histórica que eu nunca tinha tido. Por que que isso acontece, porque que esses vieses estão acontecendo, porque o racismo algorítmico está acontecendo e o que isso tem a ver com colonialismo? O que isso tem a ver com as discussões que estão tendo? Um dos exemplos que esse artigo trouxe foi o do Cambridge Analytica – que só virou polêmica depois que aconteceu nos Estados Unidos, porque enquanto estava na Nigéria ninguém discutia, não era algo que era muito popular. E porque que ninguém discutia quando aconteceu na Nigéria?  Quem são as empresas que estão tomando decisões? Quais empresas têm legislações de IA que vão ser escritas, que estão sendo criadas? Enfim, está rolando alguma discussão sobre isso e sobre a importância de pesquisa em cada um desses países. De forma independente sobre o seu cenário, o seu contexto e sobre a gente não só importar tecnologia como acontece bastante hoje, né?  De repente a gente importa uma tecnologia americana, usa aqui, não atualiza mais nada, não estuda contexto social nosso e não entende as diferenças e os problemas que isso pode causar.

***

Entrevistadores: Enrico Roberto e Jade Becari

Edição: Enrico Roberto e Jade Becari