Esta é a segunda da série de entrevistas sobre inteligência artificial, algoritmos e plataformas de internet, que compõem o nosso Especial Inteligência Artificial. A entrevista, realizada em 2020, faz parte de uma série realizada por alunos integrantes do Núcleo de Direito, Internet e Sociedade (NDIS). O NDIS é atividade de cultura e extensão da da Faculdade de Direito da USP (FDUSP) oferecida em parceria com o InternetLab desde 2015.

Andriei Gutierrez é diretor de relações governamentais e assuntos regulatórios na IBM Brasil.

Nesta entrevista, ele discutiu o que é inteligência artificial, iniciativas e princípios para regular discriminação e viés, além da posição da IBM sobre o tema e sobre o uso ético da inteligência artificial. 

Como setor privado, nós temos que começar a discutir (…) a responsabilidade de algoritmo, que passa por definir um padrão ético para adoção, pela preocupação de como os algoritmos vão ser desenvolvidos, usados e vão voltar a ser reproduzidos na sociedade. (…) Nós temos que nos reeducar à luz dessa nova era. (…) Vai ser um processo de educação, de formação política: vamos ter que rediscutir valores, privacidade; questionar para quem estamos dando os dados…

Confira a entrevista com Andriei Gutierrez na íntegra

Quando e como nasceu seu interesse pela Ciência Política aplicada à área de Regulação e Relações Governamentais?

Foi casual. Fui pesquisador e professor por 10 anos, então estive no ritmo universitário por muito tempo. Mas, considerando o governo cortando verba pra pesquisa, ninguém valorizando a aula, o aluno – com todo respeito – não queria saber de estudar, então pensei “não vou perder meu tempo aqui, vou fazer outras coisas onde eu sou mais valorizado pela sociedade”. E então, por coincidência, comecei a estudar e ver que existia essa área de Relações Governamentais, que não tinha gente qualificada. Isso aconteceu há 10 anos atrás. Vi que tinha competência e me interessava, já que estudei Ciência Política, Sociologia. Comecei pela área internacional, trabalhei na Abimaq (Associação de Máquinas e Equipamentos), na Vale (Vale S.A.), e há quatro anos e meio estou na IBM, quando comecei a trabalhar com tecnologia mesmo. Até então, eu não fazia ideia do que era privacidade, blockchain. Eu vinha da mineração, que só tem um produto: minério. Mas quando você vai para a tecnologia, percebe que é um negócio que está o tempo todo mudando, o tempo todo tem produto que até hoje eu não conheço. E você tem que conviver com isso. É problema novo que aparece e que ninguém faz ideia de como resolver; problema de ordem ética regulatória que não tem lei ou regulação, que faz você utilizar outras ferramentas que não a lei instituída, porque ela está obsoleta. Então, foi aí que eu entrei nessa área. O meu perfil acadêmico acabou interessando à IBM, em razão da minha capacidade de pesquisar, estudar temas e somar pessoas dentro desse contexto, para discutir, chegar numa posição e fazer política, fazer democracia, chegar a um consenso. Quanto à LGPD, eu fui um dos protagonistas no setor privado, que puxou o “bonde” dos debates para que a LGPD ocorresse. Ela não foi a melhor do mundo, mas eu acho que é melhor do que muita lei por aí fora: era a lei possível. Porque, no setor privado, a gente tem que botar o pé no freio, aceitar fazer algumas concessões que seriam importantes para outros setores. Então, saiu uma lei que não era ideal para a gente, não era ideal para a sociedade civil, nem era ideal para o governo, mas era uma lei minimamente equilibrada. É assim que se faz democracia. É necessário entender o que são essas questões críticas, mapear, adotar um posicionamento, e, então, você parte para o convencimento da sociedade. Primeiro, você parte para o convencimento do seu setor, dos seus pares, dos seus concorrentes; e depois para o convencimento da sociedade, do governo.

Como foi a sua aproximação com o tema da inteligência artificial? Foi já dentro da IBM ou em alguma empresa anterior?

Para ser sincero, quando eu cheguei, há 4 anos, eu nem fazia ideia do que era privacidade, do que eram os dados e de como o mundo estava se transformando a partir deles. Então eu cheguei e comecei a ler sobre o debate em torno da privacidade, da proteção de dados, e eu pensei que estava errado, eu não queria debater a partir do ponto de vista da privacidade ou do dado pessoal, eu queria debater em um contexto de dados. A gente está passando por uma transformação social muito profunda e não adianta você tentar regular dado pessoal, sem ter o contexto do que está acontecendo com a sociedade em relação aos dados. Essa situação [dos dados] está mudando tudo. Fala-se da quarta revolução industrial – eu acho interessante, porque isso faz a grande massa perceber que está acontecendo alguma coisa – mas é ruim, porque, dentro da indústria até pode ser uma quarta revolução industrial, mas dentro da sociedade, como um todo, no nível macro, é uma outra revolução do mesmo nível que a Revolução Industrial foi. A Revolução Industrial levou mais ou menos 150 anos, na Inglaterra, nos Estados Unidos, depois na Alemanha. Foi um processo isolado, cada país foi se industrializando, sendo que a sociedade teve mais tempo para se adequar à transição social que estava vindo. Não pipocava indústria nem mina de carvão para todo lado, que nem pipoca aplicativo para todo lado. E esse é o meu ponto. Hoje, a transformação social é tão profunda quanto a Revolução Industrial e está mudando tudo: a maneira como pensamos, como nos relacionamos, como vemos o mundo, como trabalhamos, produzimos, a maneira como a gente. Tudo está sendo transformado na Revolução Digital, só que isso acontece numa escala de dez, quinze, quiçá vinte anos, quando muito. O grande desafio é que a transição social é muito rápida, a gente não tem tempo, teremos que fazer uma transição e pensar muito bem em como vamos adequar todos os pilares da nossa sociedade, para que essa transição seja o menos sofrível possível. Vai haver desemprego, judicialização, porque as leis não dão conta, vai haver exploração por parte do setor privado. E tudo isso com o carro andando a mil por hora, em todos os países ao mesmo tempo. Temos um contexto político acirrado, que está dessa maneira porque o nosso sistema político de democracia representativa não consegue canalizar e dar vazão. Por isso, a democracia vai ter que buscar outros meios de se reinventar, talvez com elementos de participação direta e valendo-se de alguma tecnologia, para dar vazão de fato à representação que uma democracia deve garantir, por estar obsoleta. Então, quando eu entrei, eu queria discutir essa revolução digital, eu entendia que a privacidade era só um elemento. Então criamos na ABES uma iniciativa chamada “Brasil, país digital”, um portal em que postamos notícias e discutimos o que são dados, porque eles estão mudando a nossa vida, na agricultura, na saúde, na educação, na mobilidade urbana, na democracia e na participação popular. Lá, começamos a colocar polêmicas sobre cidadania digital, segurança e privacidade, controle parental e estímulo para as crianças participarem da rede, mas, também, como é que se controla isso.

Então quer dizer que ainda estamos muito lentos nesse processo? Enquanto a regulação e toda a máquina governamental e legislativa caminha a pequenos passos, a tecnologia está dando saltos?

Sim, mas eu acho que não é só isso. Além da regulação, são os tomadores de decisão. Quando eu cheguei, havia uma comunidade de privacidade muito boa, mas que não olhava o big picture. Agora isso está um pouco mais avançado do que 4 anos atrás. Mas qual que é a estratégia de país? A última estratégia de nação que tivemos foi com o [Presidente] Getúlio Vargas, uma estratégia industrialista, de construir primeiro a indústria de base, depois de diversificar. Criou a CLT, que foi importantíssima para pacificar e fazer um pacto social que estimulasse o desenvolvimento. Hoje, não temos um projeto de nação para essa nova revolução. Qual é o nosso projeto de nação, que passe por estímulo ao desenvolvimento e por regras para resolver o conflito? Eu falei para o [Presidente Michel] Temer, quando nos reunimos, que a LGPD vai ter, para o século XXI, quase a mesma importância que a CLT teve para o século XX. Ela ajudou a pacificar um conflito social da transparência. Na época, era um conflito Capital vs. Trabalho, hoje são conflitos em torno de dados. Mas é preciso ter um projeto de nação, com estímulo à atração de datacenters, ao empreendedorismo, à pesquisa, ao desenvolvimento voltado a dados, à exportação, à inserção das novas cadeias globais de valor que são movidas a dados. O Estado tem que se modernizar, modernizar os serviços públicos, toda a administração pública, à luz da tecnologia e dos novos conceitos de privacidade, de transparência, de governança, de dados.

Considerando o trabalho realizado na IBM, com a transformação digital de setores através do uso de IA, como você enxerga a necessidade de regulação dessa ferramenta?

Nós temos discutido muito esse tema. Não sei se vocês sabem, mas existem três projetos de lei no Senado, do mesmo senador: dois que envolvem diretamente a inteligência artificial e um sobre decisões automatizadas. Qual que é a nossa posição no Brasil? A IBM como um todo entende que as empresas têm que ser responsáveis pelo o que estão fazendo. Quando tratamos de inteligência artificial, é preciso primar: (i) pela transparência, (ii) pelo accountability. Quando falo de accountability, me refiro à importância social, o efeito social daquilo que você faz, que pode ser grande, que pode ter volume. Não dá para empresas se eximirem de procurar garantir que os sistemas de inteligência artificial sejam explicáveis. E por isso a IBM se compromete a explicar como as soluções de inteligência artificial que usamos estão chegando a uma determinada solução ou decisão. Existe a questão ética de tentar garantir o máximo, na base da inteligência artificial, para que ela não tenha vieses. Há vários mecanismos para reduzir os vieses da inteligência artificial. Um deles começa na própria força de trabalho: ter, de fato, uma política de diversidade. Não é só um compromisso social, é também entender que os serviços devem servir para todo mundo, então se você não contempla uma força de trabalho diversa você vai ter problemas com as soluções que vão sair dali. Outro ponto importante é a base de dados que está sendo imputado naquele sistema de inteligência artificial. Se aquela base de dados por alguma razão tiver algum vício e você não policiar, esse vício vai passar e vai acabar influenciando os resultados. E, depois, também é importante que você tenha uma preocupação com para quem você vai vender essa tecnologia, qual vai ser o uso que vai ser feito dessa tecnologia. Mas aí eu queria fazer um parênteses porque eu acho importante entender o que é inteligência artificial e em que nível ela está. Temos que lembrar que isso [a inteligência artificial] não é de hoje, vem desde a década de 50. Eu diferencio a inteligência artificial em três níveis. Um é o software analytics: um Excel com uma macro executa atividades inteligentes, ou softwares de análise de dados que já têm decisões inteligentes. Um marca-passo inteligente, que salva uma pessoa de um ataque cardíaco, são softwares inteligentes que estão ali mediando os batimentos cardíacos e tomou uma decisão automatizada. O anti-spam de e-mail, há mais de 10 anos, 15 anos, também é um software inteligente que toma uma decisão automatizada. Temos também o segundo nível de inteligência artificial, que é o que eles chamam de machine learning supervisionado, que é o que a gente usa na IBM basicamente. A computação de machine learning é probabilística, não é determinística, o resultado final dela vai depender da interação com o ser humano, com um contexto externo a ela. Nessa inteligência artificial supervisionada, o ser humano é que dá os parâmetros de como ele quer que aquele sistema siga tomando uma decisão. Então o sistema vai tomar uma decisão e eu vou falar que está ok. Então ele vai aprendendo com a minha calibragem humana, eu estou treinando todos os critérios pelos quais eu calibrei a máquina. Então, aí entra a questão da auditabilidade. O software, o Excel, você pode abrir o código fonte e auditar. Quais são os parâmetros que estão naquele código-fonte? Está dado a priori. Quando vamos para o machine learning, não adianta você abrir o código fonte, o código fonte é vazio. O viés, o que você quer auditar, está nos inputs que foram dados pelo ser humano, está na base, na qualidade dos dados que foram imputados, se esses dados foram enviesados ou não. Então, você consegue auditar os dados, você consegue auditar quais foram os critérios que os seres humanos imputaram. Um terceiro nível de inteligência artificial é a inteligência artificial baseada em machine learning não supervisionado, que são as redes neurais. São sistemas de processamento que são como se fossem os neurônios. Você tem vários diferentes neurônios, que recebem uma informação externa. Essa informação entra no neurônio, é processada, ele interpreta e manda para outro neurônio artificial, que interpreta e que manda para outro, que interpreta… até sair um resultado, uma interpretação e uma decisão. O problema é que isso não é uma lógica humana, ninguém consegue entender hoje como esse sistema está chegando a essas decisões, porque a lógica deles é completamente alheia à lógica humana. Então, o grande desafio hoje vai ser sobretudo com a inteligência artificial de rede neural, para auditar. Na IBM, não trabalhamos com essa inteligência artificial não supervisionada, nós supervisionamos porque queremos auditar, mas ajudamos as empresas que estão tentando usar esse tipo. E não pensamos que tem que proibir, nós participamos de várias frentes de pesquisa no mundo para tentar mitigar e controlar os efeitos, porque de fato é uma inteligência artificial mais apurada, mais rápida… Nós começamos a colocar o nosso sistema de inteligência artificial “Watson”, que é supervisionada por ser humano, para monitorar essa inteligência artificial de rede neural, analisar todos os inputs que entraram e todos os outputs, os resultados, que saem, e ranquear alguns critérios que queremos olhar, como vieses de gênero, raciais, de moradia, de bairro, financeiro ou social. Por exemplo, observando uma decisão de crédito, que usou essa rede neural para conceder crédito, e uma mulher da mesma idade, da mesma categoria social, mesma renda conseguiu, e a outra da mesma renda etc. – mas que por algum critério diferente não recebeu, o nosso sistema de inteligência artificial trava, e chama-se o ser humano para auditar e verificar qual foi a anomalia que está gerando essa discriminação. Esse debate de auditabilidade é muito importante quando a gente discute regulação. Hoje, a minha posição é a de que o Brasil – e quando eu falo Brasil, eu falo dos legisladores e do Poder Executivo – ainda não está preparado para ter uma regulação geral de inteligência artificial. Nós temos acompanhado e apoiado iniciativas como o framework da OCDE, em que ajudamos a escrever os princípios gerais, e na União Europeia, que ajudamos a escrever um guia de boas práticas em inteligência artificial. Mas aqui no Brasil, eu vejo que o Congresso não está preparado, então você tem leis que querem regular, por exemplo, querem regulamentar e obrigar toda e qualquer decisão automatizada de inteligência artificial a ter uma supervisão humana, e sem entender o que é inteligência artificial, você vai proibir, por exemplo, um marca passo inteligente que salva um paciente de uma parada cardíaca. Então, se você levar a ferro e fogo uma regulação geral de inteligência artificial neste parâmetro, você vai prejudicar o avanço da sociedade por meio de tecnologia ou, o que é muito preocupante, a manutenção de serviços sociais importantes. A nossa posição, pelo menos aqui para o Brasil, é a de que a gente precisa ter princípios gerais, como transparência, ética, explicabilidade. Mas uma regulação geral de inteligência artificial, eu acho que é muito problemático. Eu acho que, no final das contas, você vai ter regulações, vai ter que regulamentar soluções de inteligência artificial, mas eu acho que essa regulamentação vai ser setorial. Digo isso porque quem vai regulamentar o uso do Inteligência artificial no sistema financeiro? Vai ser o Banco Central. Quem vai usar o uso de inteligência artificial na saúde? Vai ser a ANS, nos planos de saúde, a ANVISA, o Conselho Federal de Medicina. Inteligência artificial em telecomunicações, quem vai regular? Vai ser a Anatel. Então a gente vai ter uma regulação, uma fiscalização, uma padronização e eu acho que isso vai ser, sobretudo, setorial; e está por vir. É porque eles têm mais eficácia e eficiência para analisar isso a fundo. Quem vai regulamentar o uso de inteligência artificial em eleição? Vai ser o TSE. Então, não é uma regulação geral, uma lei geral feita por deputados ali em 45 dias, que depois é muito difícil mudar. Por isso, a lei tem que ser o mais principiológica possível.

Em relação ao PL 5.051/2019, que estabelece os princípios gerais de inteligência artificial, deveria existir critérios mais específicos, apesar das diretrizes gerais que você já comentou, quando falamos, por exemplo, na questão da inteligência artificial para moderação de conteúdo ou em outras formas de uso que poderia gerar alguma discriminação ou uso antiético?

Nesse PL, eu via dois problemas básicos. Um deles era a questão da supervisão humana. Um segundo problema se relaciona à questão de proibir ou limitar o avanço com relação às questões trabalhistas por causa da mudança que vai ocorrer no mercado de trabalho, tentando proteger a todo custo os trabalhos que estão aí. Mas, não adianta ter uma lei que mantém determinado tipo ou padrão de ocupação. É necessário qualificar os jovens para as novas ocupações e requalificar os profissionais, o que não se faz via projeto de lei, proibindo ou obrigando a empresa, por exemplo, a manter aquele empregado naquela função. A minha preocupação é sobretudo em relação à inteligência artificial, que as pessoas não estão preparadas ainda. Por isso que é muito bem-vinda, mais até do que uma regulação agora imediata, uma discussão sobre a Estratégia Nacional de Inteligência Artificial. Eu acho que esse é o debate que a gente tem que fazer. Isso envolve a responsabilidade de todo mundo. Quando eu falo em democracia, em moderação de conteúdo, as plataformas têm a sua responsabilidade. Elas não são as únicas, mas nós [da IBM] não concordamos que as plataformas não devam ser responsabilizadas pelo o que acontece dentro das suas plataformas. O meu feeling é que a sociedade digital está indo para um volume tão grande de dados que o ser humano está se tornando obsoleto para tratar, para resolver, para cuidar desse mundo sem nenhum apoio de uma ferramenta digital, de um sistema como a inteligência artificial. Nós não vamos ter como não usar a inteligência artificial para tudo na nossa vida nos próximos anos. Não vamos conseguir ter a nossa vida, trabalhar, produzir, sem ter uma ferramenta de apoio de uma inteligência artificial. O volume de dados é tão grande que transcende a capacidade humana de conhecimento e interpretação e de tomar uma decisão baseada naquela massa de dados. Então, vai ter que usar a inteligência artificial, é inevitável.

Além do governo, qual seria o papel dos cidadãos e das empresas, também, nesse processo de transição, as influências que as novas tecnologias têm na dentro da sociedade, as mudanças que elas vão causar, especificamente, também, relacionada ao uso ético da inteligência artificial?

Eu acho que, como setor privado, nós temos que começar a discutir, por no radar, a responsabilidade de algoritmo, que passa por definir padrão ético para adoção, passa pela preocupação de como os algoritmos vão ser desenvolvidos, usados e vão voltar a ser reproduzidos na sociedade. Para o cidadão é um desafio mais amplo. Nós temos que nos reeducar à luz dessa nova era, e a reeducação é difícil porque o negócio já está rodando, as pessoas começam a usar e depois param para pensar. Vai ser um processo mais de educação, de formação política; vamos ter que rediscutir tudo isso, valores, privacidade, começar a questionar para quem estamos dando os dados – isso também depende muito da ANPD e da sociedade como um todo fazer esse trabalho. Não dá para jogar a culpa só no governo. Precisamos questionar, como empresa, como cidadão, se estamos fazendo a nossa parte, se estamos discutindo, nos posicionando para reduzir o ódio nas redes, para buscar pluralidade, para ter uma ação social efetiva. Temos que nos posicionar para a sociedade avançar, e cobrar ética, privacidade, parar de dar o CPF na farmácia para ter desconto, questionar o que será feito com esse dado.

Como a IBM pensa a questão da moderação de conteúdo e como a Inteligência Artificial pode ao mesmo tempo ser utilizada, por um lado, para a construção de uma nação mais digital e menos desigual e ser utilizada, por outro lado, como um propulsor de desigualdade e de preconceitos também?

Na IBM, pensamos que a Inteligência Artificial não tem que discriminar, tem que ser não discriminatória, ela tem que ser transparente, tem que ser explicável, tem que ser auditável. Agora, a questão é como isso vai ser feito. Esse é o desafio da revolução digital; ela está acontecendo ao mesmo tempo em uma velocidade incrível e a sociedade ainda não tem instrumentos para dar conta, então temos que correr o risco de, para querer ir resolver um problema, asfixiar uma série de aplicações que a gente já usa, por isso temos que tomar muito cuidado na solução. E vamos ter que fazer o debate de como isso será feito, por quem, como será a regulação, etc. São debates específicos. A gente não entra propriamente nesse debate muito específico. O que discutimos é esses princípios gerais, que isso vai cascatear para todos os setores, para toda a sociedade. Mais uma vez, a nossa posição é que plataformas não são só elas as culpadas, mas elas têm sim o seu grau de responsabilidade. Tem outro ponto que temos que ter no radar: nos Estados Unidos, o debate tem atribuído diferentes níveis de responsabilização para o desenvolvedor e para o usuário. Aquele que está usando é o responsável em primeiro plano, ele que está tomando a decisão, por meio de um sistema. Então, ele que tem que buscar saber se os seus fornecedores de sistema de inteligência artificial estão sendo auditáveis, se o sistema não é enviesado, porque ele que comprou, é ele que está usando aquilo no cliente, na sociedade, ele que está colocando aquilo no mercado, oferecendo aquilo para o cidadão. Então esse indivíduo tem um grau de responsabilidade muito grande. É como na LGPD, em que há a diferença entre o processador e o controlador. O controlador é quem controla todo o processo e ele tem um grau de responsabilização muito maior que o processador. Então, eu acho que a inteligência artificial vai caminhar para o mesmo princípio. Quem está usando, quem está colocando o cidadão em risco tem um nível de responsabilidade muito maior. Não que o que desenvolveu não tenha essa responsabilidade, mas será necessário buscar em toda a cadeia qual é o nível de responsabilização.

***

Entrevistadores: Angelo Astória, João Sire, Karen Mayumi

Edição: Enrico Roberto