Esta é a sexta e última da série de entrevistas sobre inteligência artificial, algoritmos e plataformas de internet, que compõem o nosso Especial Inteligência Artificial. A entrevista, realizada em 2020, é complementar à série realizada por alunos integrantes do Núcleo de Direito, Internet e Sociedade (NDIS). O NDIS é atividade de cultura e extensão da da Faculdade de Direito da USP (FDUSP) oferecida em parceria com o InternetLab desde 2015.

María Paz Canales é diretora executiva da Derechos Digitales.

Nesta entrevista, ela discutiu a aplicação de mecanismos internacionais de direitos humanos no uso da inteligência artificial, desafios para regulamentação da IA e o papel da privacidade e proteção de dados nesse debate, além do trabalho da sociedade civil latino-americana nesse campo.

Acesse a entrevista original, em inglês, aqui.

E quando falamos sobre [direitos humanos e inteligência artificial], falamos de todos os tipos de direitos humanos, não apenas das liberdades civis, da geração de direitos civis e políticos, mas, cada vez mais, também do exercício dos direitos sociais, econômicos e culturais. (…) A implementação das tecnologias está sendo feita sem marcos regulatórios adequados que realmente equilibrem os interesses das diferentes partes interessadas, ou que forneçam uma estrutura adequada para obter o aspecto positivo da inteligência artificial e evitar suas consequências prejudiciais involuntárias.

Confira a entrevista com María Paz Canales na íntegra

Quais são, em sua opinião, os principais desafios e riscos sociais apresentados pelos algoritmos de inteligência artificial? O que é inteligência artificial para você?

De modo geral, o principal desafio, para mim, sobre a implementação e regulamentação da inteligência artificial, é como este tipo de coisa vai gradualmente impactar o exercício dos direitos humanos. E quando falamos sobre isso, falamos de todos os tipos de direitos humanos, não apenas das liberdades civis, da geração de direitos civis e políticos, mas, cada vez mais, também do exercício dos direitos sociais, econômicos e culturais. A inteligência artificial está tendo impactos cada vez maiores em termos das possibilidades de discriminação das pessoas ou, se você olhar para o lado mais positivo, da possibilidade de usar a tecnologia para inclusão e para tentar superar algumas desigualdades que são estruturais em muitas das sociedades ao redor do mundo, mas particularmente na América Latina. Mas também vem com um grande risco porque, como você provavelmente já ouviu muitas vezes, a implementação das tecnologias está sendo feita sem marcos regulatórios adequados que realmente equilibrem os interesses das diferentes partes interessadas, ou que forneçam uma estrutura adequada para obter o aspecto positivo da inteligência artificial e evitar as conseqüências prejudiciais involuntárias e operar em um ambiente infraconstitucional, de uma perspectiva técnica, mas também de uma perspectiva institucional e regulatória que ainda é muito fraca em nossa região porque, vindo do aspecto técnico, ainda há muita falta de capacidade, inclusive no setor privado, para saber como realmente usar e entender melhor os impactos deste tipo de tecnologia. Assim, em geral, há alguma assimetria de informação quando estes tipos de tecnologia são oferecidos por empresas em crescimento que as olham e tentam oferecer seus produtos e serviços na região, e então você também tem uma questão que está ligada à qualidade dos dados que irão alimentar o tipo de sistema que conhecemos. Portanto, em geral, na América Latina, todas as iniciativas relativas a dados abertos de alta qualidade não estão muito bem desenvolvidas – isso já existe há muito tempo e há um movimento muito forte de dados abertos, mas não tem tido muito sucesso em termos de ter a possibilidade de acessar um grande conjunto de dados de alta qualidade e precisão. Portanto, se você combinar esses dois problemas, no final você terá o risco de ter a implementação de tecnologias que, ao invés de melhorar e abordar alguns desses sistemas de desigualdade estrutural, correrá o risco de aprofundá-los e piorá-los, pois eles implementarão uma tecnologia em um ambiente institucional e em um contexto de engajamento com a tecnologia que não será apropriado. Este é o meu diagnóstico geral.

Você falou sobre os aspectos positivos da tecnologia, sobre essas iniciativas de dados abertos… Você pode nos dar alguns exemplos concretos que você tem em mente, ou com os quais esteve envolvida?

Um dos muitos projetos que têm sido fortemente criticados por causa de suas conseqüências não intencionais na região, um dos projetos marcantes, é o sistema de previsão que foi estabelecido primeiramente na Argentina pela Microsoft para prever a possibilidade de gravidez na adolescência. O sistema foi preenchido com dados que produziram um resultado fortemente discriminatório contra o setor de menor renda da sociedade. E isso foi muito bem documentado em termos de como, talvez, a intenção do sistema era apropriada e boa, que eles tentaram abordar uma questão muito problemática que é real e causa danos ao desenvolvimento em muitas mulheres jovens, mas no final, a forma como foi abordada não foi nada sensível em termos de como os dados foram alimentados no sistema e como o resultado do sistema foi comunicado. E uma das questões ali é, novamente, a qualidade dos dados que são alimentados e a forma como o sistema leva em consideração, ou não, o contexto em que se deseja inseri-lo, mas também há outros aspectos que são problemáticos em termos de como se tem também as empresas, as empresas globais que estão oferecendo este tipo de sistema, sem realizar qualquer tipo de avaliação de impacto antes da implementação. Talvez elas tenham sido algo útil ou bem-sucedido em outras jurisdições, mas podem ter um resultado completamente diferente quando você as transplanta em um cenário diferente. E como não há nenhum tipo de capacidade, solicitação de mais responsabilidade por parte das empresas por não reproduzir esse modelo porque, até onde eu entendo, esse mesmo sistema está agora sendo priorizado em algumas regiões do Brasil com conseqüências também muito semelhantes ao que foi visto na Argentina. E outros exemplos com características semelhantes mas de origens diferentes são, por exemplo, outro sistema de previsão que foi implementado no Chile pelo ministério de proteção social, que estava tentando prever também a probabilidade de abuso de crianças – e estavam replicando a implementação de uma metodologia que foi desenvolvida na Nova Zelândia para fazer isso: ter uma intervenção precoce para prevenir o abuso de crianças, e, por exemplo, nesta implementação, mais uma vez, havia um algoritmo que foi originalmente desenvolvido para a Nova Zelândia, e a Nova Zelândia tem circunstâncias sociais e econômicas completamente diferentes – e mesmo que o sistema tenha sido criticado na Nova Zelândia, ele agora é oferecido aqui no Chile. Eles também o fizeram no passado, nos Estados Unidos, com algumas críticas e conseqüências prejudiciais. Portanto, eles continuam fazendo isso. Eles continuam fazendo isso, e não está claro qual é o ciclo de feedback que eles estão considerando, porque muitas dessas coisas precisarão ser melhoradas e aperfeiçoadas para tentar evitar os preconceitos e as conseqüências prejudiciais que isso pode ter. Mas não há transparência suficiente na forma como esse círculo de aprendizagem está acontecendo. Talvez haja conseqüências não intencionais, mas eles são realmente incapazes de considerá-las a fim de aperfeiçoar o sistema para a “próxima rodada” – e você não vê isso na próxima rodada. Você vê que, novamente, há uma implementação sem uma avaliação de impacto do sistema, sem a devida consideração do contexto e assim por diante. E isto está ligado ao que eu estava me referindo no primeiro exemplo: quando você tem países latino-americanos, nos quais a maioria não tem marcos regulatórios ou mesmo ferramentas institucionais para aplicar este tipo de implementação, é muito difícil fazer estas perguntas difíceis e ser mais exigente com a implantação deste tipo de sistema. Há também alguns exemplos de danos na implementação da inteligência artificial nos sistemas de justiça, por exemplo, na Argentina ou na Colômbia. Eles proporcionaram uma forma de processar, de forma mais eficiente, a papelada e a resolução de questões; esse é o exemplo da Prometea e PretorIA, que são a aplicação de uma inteligência artificial que fornece atalhos para produzir uma resolução judicial, mas que realmente ainda estão pesadamente na supervisão dos seres humanos. Esse é um tipo de implementação no sistema de justiça, e então você tem todos os tipos de implementação nos sistemas de justiça que são muito mais problemáticos. Por exemplo, o desenvolvido na Colômbia que oferece recomendações sobre os tempos de prisão e sentença que teve algumas dificuldades que já foram apontadas no desenvolvimento de sistemas similares nos Estados Unidos, no qual, devido aos dados que foram alimentados ao sistema, foi fortemente tendencioso contra grupos raciais específicos, e eles foram totalmente discriminatórios com esses grupos. Os dados, no entanto, eram consistentes com a história humana anterior. Não foi um defeito do sistema de aprendizagem de usinagem, mas sim para que o sistema de aprendizagem de usinagem fosse capaz de ampliar os preconceitos e a discriminação que já existiam na implementação humana do sistema. Portanto, acho que estes são exemplos do que está acontecendo na América Latina, e são problemáticos, novamente, por causa da falta de estruturas institucionais, regulamentação, mas não apenas a regulamentação. Estou me referindo a marcos institucionais e órgãos de supervisão com capacidade institucional para avaliar quais soluções são realmente necessárias e para quê, e quais são os propósitos e os objetivos da implementação – e então eles devem ser capazes de supervisionar a implementação e fornecer feedback para melhorar as tecnologias ao longo do tempo ou para antecipar em algum momento se elas forem mais prejudiciais do que benéficas – e se assim for, então precisamos eliminá-las.

Então, você acha que as leis atuais, por exemplo, as leis de proteção de dados, não são suficientes para este tipo de desafio? Precisamos de leis completamente novas ou apenas de novas interpretações? Como você vê o atual marco regulatório em relação a estas coisas que você mencionou?

Acho que é uma combinação de tudo isso, dependendo do país que estamos analisando. Na América Latina, temos realidades muito diversas, temos alguns países que estão mais avançados em proteção de dados, eles já têm uma regulamentação de proteção de dados e um marco regulatório há algum tempo e tiveram todo o tempo para implementar isso, para fortalecer as autoridades que selecionaram para supervisionar a implementação dessas regulamentações… Mas também há países que nem sequer têm autoridades para supervisionar a relação que têm ou as autoridades não têm recursos suficientes para fazer o trabalho de supervisão, ou há uma falta de força institucional para, por exemplo, controlar todas as agências ou órgãos públicos. Portanto, eles são mais fortes para a supervisão do setor privado, mas não do setor público; em diferentes países as questões vêm de diferentes lugares, portanto em alguns países eles estão mais preocupados com a ação do setor privado e em outros países eles estão mais preocupados com a ação do setor público. No final, penso que existe definitivamente uma necessidade de melhoria nos marcos regulatórios que estão em vigor na América Latina. Mesmo nos países onde estes existem, eles precisam de melhorias, e muitos deles estão neste ponto há quase 20 anos: eles precisam ser atualizados de acordo com os padrões internacionais mais recentes. Sabemos que a lei da Califórnia, ou a extended producer responsibility (EPR), são padrões internacionais muito bons, e devemos seguir e ver como as estruturas podem ser melhoradas em nossa região, mas também fornecer mensagens políticas claras dos conselhos na região para capacitar os políticos que estão encarregados de supervisionar este tipo de regulamentação. E para dar-lhes recursos de maneira adequada para realmente cumprirem esta missão. Isso é uma coisa. A outra coisa está ligada ao que eu estava apontando no início, é que isto não é apenas uma questão de privacidade. E já tive esta discussão muitas vezes – não sei se você teve a oportunidade de vê-la, mas escrevi algo no final do ano passado falando sobre estratégias para implementar a inteligência artificial na América Latina, para que eu possa compartilhar com você o link da publicação se você estiver interessado em dar uma olhada, mas eu estava salientando naquela publicação – e também mencionei no início desta conversa – que esta não é apenas a questão do impacto da privacidade ou da proteção de dados, que é uma discussão que tenho consistentemente com muitos atores e governos internacionais, porque eles pensam que se você corrigir as leis de proteção de dados, o problema com decisões algorítmicas ou inteligência artificial será resolvido. Recentemente temos visto muito impacto, um impacto coletivo, que vai além da proteção de dados e que olha mais para os direitos individuais. Portanto, as questões relativas à discriminação, ou como esta implementação de tecnologias afeta fortemente os grupos vulneráveis, também quando estamos falando de justiça social e inclusão, devemos analisar outros tipos de regulamentação que forneçam estruturas institucionais justas para a implementação destas tecnologias e, em termos de campos regulatórios nos quais isso possa ser coberto, pode haver muitas estratégias, e podemos ser imaginativos sobre isso no sentido de que algumas destas coisas farão parte, por exemplo, da regulamentação de proteção ao consumidor para o futuro ou podem fazer parte do tipo de partes regulatórias que se relacionam com a implementação do princípio da anti-discriminação. Há muitos lugares em que se pode procurar implementar essas estruturas regulatórias que não serão exclusivamente sobre proteção de dados. Esta é uma conversa que precisamos ter cada vez mais. Outro lugar em que você pode abordar algumas dessas considerações é na implementação que está acontecendo em muitos países, os Planos Nacionais sobre Negócios e Direitos Humanos, seguindo os princípios do Programa das Nações Unidas para o Meio Ambiente (PNUMA), em que há uma crescente consideração das empresas para evitar danos e ir no caminho da implementação de algum pedido obrigatório de regulamentação de tecnologias, como eu estava falando antes. Penso que temos muito a aprender sobre o movimento ambiental nesse sentido, porque somos um movimento de proteção, por isso devemos procurar soluções que vão nessa direção, que nos permitam abordar os impactos mais coletivos que a tecnologia está tendo, a inteligência artificial e as decisões algorítmicas, particularmente.

Qual é a diferença entre ética na inteligência artificial e direitos fundamentais ou humanos na inteligência artificial? Por que esta distinção é importante?

Esta é uma luta que tenho que travar o tempo todo nos fóruns internacionais porque meu campo de trabalho é os direitos humanos e eu sou um grande defensor da estrutura dos direitos humanos. Acho que as considerações éticas são valiosas e podem ser abordadas, mas de forma alguma podem ser a linha mínima a ser solicitada nestes modelos, pois se pudermos analisar algo que possa ser acionado, na verdade os padrões de direitos humanos fornecem um cenário muito mais forte e não serão contrários aos princípios éticos. Princípios éticos são algo que você sempre pode implementar no setor privado ou no setor público, você não fará mal, mas tentando tirar a conversa do cenário de implementação e respeito aos direitos humanos, e entrando exclusivamente nessa consideração [ética], eu acho que é um erro fundamental. Porque você estabeleceria todas essas coisas que são voluntárias e não têm nenhum tipo de mecanismo de supervisão. E a realidade é que, no que diz respeito às normas e políticas de direitos humanos, os órgãos encarregados de supervisionar essas normas têm feito, no último ano, um trabalho bastante forte na tentativa de traduzir a estrutura tradicional de direitos humanos para a aplicação de tais estruturas na inteligência artificial. Portanto, eu acho que não há nenhuma experiência afiada nisso, já houve muita papelada e considerações emitidas por procedimentos especiais da ONU, do sistema americano, de órgãos muito especializados que apontaram como as estruturas internacionais de direitos humanos são totalmente aplicáveis e ainda relevantes para a implementação da tecnologia. Portanto, quando as pessoas afirmam que não existem padrões suficientes em relação à tecnologia, acho que isso é um pouco de ignorância no que tem acontecido nos últimos anos e como o trabalho tem sido fortemente desenvolvido pelos organismos internacionais e pela sociedade civil, pelos defensores dos direitos humanos na tentativa de conectar como esses padrões se aplicam à implementação da tecnologia. E eu acho que então, mesmo que você goste do trabalho oposto e você, por exemplo, em muitos ambientes, em muitos fóruns, porque as pessoas decidiram imediatamente falar com você sobre princípios éticos, e você começa a partir daí, e então você se move em como conectar a consideração dos direitos humanos, você percebe que não há muita diferença no final, mas as estruturas dos direitos humanos, em termos de sustentação e significado, são enorme e fundamentalmente diferentes, especialmente em termos da possibilidade de torná-las aplicáveis. Portanto, penso que, no final, não devemos sucumbir à tentação de uma conversa baseada exclusivamente em princípios éticos que não são comumente acordados em ambientes internacionais, porque assim criaríamos mais fragmentação. As normas internacionais de direitos humanos, nesta difícil questão relativa à tecnologia, ainda fornecem uma estrutura que manterá um nível mínimo de proteção em todo o mundo e é, pelo menos, passível de ação contra os Estados que não estão comprometidos com as normas internacionais de direitos humanos. Portanto, isto é muito mais protetor para as pessoas do que qualquer tipo de princípios éticos voluntários que possam ser propostos.

E então, você acha que essas normas de direitos humanos não foram aplicadas à tecnologia? É por ignorância do governo ou é uma ignorância intencional de empresas privadas ou de desenvolvedores que esses sistemas não têm qualquer impacto sobre os direitos humanos? Você acha que essas estruturas internacionais de direitos humanos precisam ser atualizadas ou já estão indo na direção certa?

Então, para a primeira, eu acho que há muita ignorância, parte dela pode ser ignorância de boa fé no sentido de que há falta de habilidades para entender a tecnologia e como a tecnologia se conecta com os direitos humanos, porque é um campo muito específico de implementação, então eu acho que muito trabalho deve ser feito em termos de fornecer essas capacidades, essas habilidades, particularmente dentro dos governos da região, e dentro das empresas de tecnologia. Algumas delas estão fazendo esse trabalho e tentando implementar e conectar essas normas nos processos internos que possuem; é cada vez mais comum que elas comecem a aplicar uma avaliação de impacto dos direitos fundamentais dentro de seus processos, mas não é a maioria, apenas alguns, os maiores, que têm mais recursos disponíveis. Quero dizer, geralmente eles o fazem como um esforço de boa fé, eles não sentem que são obrigados a isso. Portanto, penso que definitivamente há uma necessidade de reforçar a implementação internacional de muitas destas coisas em termos de sinalizar que isto não é algo que pode ser implementado voluntariamente, mas que deveria fazer parte da obrigação obrigatória das empresas globais. Assim, por exemplo, uma iniciativa que eu realmente gosto nesse sentido é o Projeto B-Tech, que está sendo desenvolvido pelo Escritório do Alto Comissário de Direitos Humanos; e o que eles estão fazendo agora é que eles estão tentando trabalhar particularmente na implementação dos princípios orientadores da ONU em negócios e direitos humanos para empresas de tecnologia. Portanto, o objetivo é traduzir o que estes princípios mais gerais significam, como eles devem ser aplicados a empresas de qualquer tipo de campo, o que isso significa para as empresas de tecnologia em particular. Outra iniciativa nesse sentido, que eu acho bem intencionada, e espero que tenham sucesso, é, por exemplo, o processo que está sendo realizado pela UNESCO para a questão da orientação nos princípios éticos da inteligência artificial. Eles falam de princípios éticos, decidiram partir dessa perspectiva no início, mas depois de fazer o processo de consulta e o trabalho do grupo de especialistas que eles montaram, foi cada vez mais levantado por todos como a relevância desses princípios éticos era paralela aos padrões internacionais de direitos humanos. Assim, por exemplo, as organizações latino-americanas participariam intensamente do processo de consulta que foi realizado em agosto de 2020 para escrever feedback sobre esses princípios, e fomos muito fortes em sinalizar isso e, mesmo dentro da UNESCO, as pessoas estavam muito conscientes de que era algo que precisava ser bem coberto para o desenvolvimento. Portanto, mais uma vez, isto é como uma estratégia de implementação ética na qual você desenvolverá princípios éticos para implementar a inteligência artificial, mas no final você ligará esses princípios com os padrões internacionais de direitos humanos. Dessa forma, os princípios que você selecionou são mais especificamente para orientação, mas estão sempre de acordo com os padrões internacionais. E eu acho que esse é o bom caminho a seguir: os princípios éticos devem complementar um desenvolvimento para a explicação de como esses padrões internacionais de direitos humanos devem ser aplicados, mas eles não são algo separado ou, é claro, não contraditórios com esses padrões. E outro exemplo com o qual tenho estado em contato é o esforço que tem sido realizado agora na Organização Mundial da Saúde (OMS). Também temos trabalhado com eles para a emissão de uma orientação sobre princípios éticos para a implementação da inteligência artificial nos sistemas de saúde. Trabalhamos nisso antes da pandemia, e agora, com a pandemia, todo o trabalho está sendo acelerado e novamente, nesse caso, por exemplo, você vê que esse trabalho começou com um grupo muito diversificado de especialistas externos à Organização Mundial da Saúde, no qual a maioria deles não estava muito familiarizada com a estrutura internacional de direitos humanos, porque eram bastante especialistas da área da saúde, do meio acadêmico, da área técnica, dos governos, dos departamentos de saúde… Mas as pessoas vindas de uma perspectiva mais reguladora na estrutura internacional de direitos humanos provariam no final que era totalmente fundamental vincular os princípios que seriam selecionados para a orientação aos padrões internacionais de direitos humanos. E os princípios estão escritos de uma forma que você pode desenvolver, a partir deles, aplicações mais explícitas: neste caso, na esfera da saúde. À primeira vista, se você não é um especialista, pode parecer muito difícil de implementar. Portanto, o que você faz é passar deste nível mais abstrato para um mais concreto, e depois para um nível ainda mais concreto que é a avaliação do impacto dos direitos humanos, que pode tomar listas de verificação formais ou todo tipo de ferramentas que são mais fáceis de implementar para as pessoas que estão encarregadas de tomar as decisões e não são necessariamente especialistas em normas de direitos humanos. 

Qual tem sido o papel da Derechos Digitales, tanto quanto a sua experiência, e de outras organizações da sociedade civil neste debate?

Temos trabalhado escrevendo contribuições e feedback sobre todas essas questões relacionadas ao comissário, para ajudar a avançar na aplicação dos padrões internacionais de direitos humanos no que diz respeito ao uso de tecnologias emergentes, não apenas inteligência artificial, mas também diferentes ramos de tecnologias emergentes, com os órgãos da ONU, o conselho de direitos humanos, o escritório do comissário de direitos humanos, com os relatores especiais para liberdade de expressão e privacidade, e também no sistema interamericano, com o relator especial em direitos econômicos, sociais, culturais e ambientais. Temos trabalhado com o relator especial para a liberdade de expressão também nos assuntos da América Latina relacionados à privacidade, e temos nos engajado na região com os governos e grupos da sociedade civil da América Latina também para aumentar a capacidade nas diferentes coisas que temos conversado até agora no sentido de que, como já mencionei anteriormente, é preciso ter o nível adequado de capacidades ou habilidades para poder realmente, profundamente, compreender estes tópicos, portanto é preciso conectá-los, pois há pessoas que podem estar muito familiarizadas com a implementação e o desafio da implementação da inteligência artificial de diferentes campos, que de muitas maneiras estão conectadas com as coisas que eu tenho falado com vocês hoje. Portanto, acho que isso faz parte do trabalho que estamos fazendo. Estamos tentando conectar os pontos para trazer estas informações, para trazer a perspectiva latino-americana aos fóruns internacionais nos quais muitas destas coisas estão sendo decididas ou discutidas de alguma forma e, ao mesmo tempo, tentando trazer de volta informações aos governos locais da região a fim de melhor compreender os desafios e porque é importante prestar atenção à forma como este tipo de tecnologia será implantada. E se você fizer isso bem, você tem uma oportunidade fundamental para melhorar a vida das pessoas em seu país e região e superar, como eu disse antes, as desigualdades e outros problemas estruturais da região, mas se você fizer isso errado, você corre o risco de realmente reforçar a discriminação e prejudicar, de forma mais permanente, a possibilidade de ter uma sociedade mais justa. Portanto, estamos sempre tentando fazer estas duas coisas: não queremos parecer muito pessimistas, mas queremos ser muito claros em termos de pedir a implementação adequada e uma implementação que seja sensível à proteção dos direitos das pessoas. E, como mencionei, estamos engajados no Chile com o desenvolvimento da estratégia nacional de inteligência artificial, estamos agora conduzindo pesquisas sobre a implementação destas coisas no Chile, Colômbia, Brasil, Uruguai, etc. Estamos tentando avaliar como esta implementação tem sido realizada até agora nestes países utilizando casos de estudo, a fim de fornecer lições valiosas para o futuro, para diferentes governos da região que estão considerando implementar este tipo de sistemas. Portanto, utilizar o caso de estudo é também uma oportunidade para aprender o que funciona bem, que campo funciona bem, e como fornecer esta recomendação completa que eu estava mencionando a vocês na forma de uma lista de verificação ou na forma de documentos que são mais fáceis de entender e de implementar regularmente pelas pessoas que estão encarregadas deste tipo de tomada de decisão.

***

Entrevistadores: Enrico Roberto e Jade Becari

Edição: Enrico Roberto e Jade Becari

Tradução: Enrico Roberto