Killer Robots entre nós: reflexões sobre sistemas de armas autônomas letais
Consta que Einstein, ao ser perguntado com que tipo de armamento seria travada a Terceira Guerra Mundial, teria dito: “não sei, mas a Quarta Guerra Mundial será combatida com paus e pedras”.
A tecnologia sempre fez parte da guerra, pois um lado sempre busca alguma forma de ficar em vantagem em relação ao outro. As inovações ao longo da história sempre cumpriram esse propósito.
Os exemplos são muitos: a conquista das civilizações Asteca e Inca pelos espanhóis, a humilhação da China pelo Império Britânico no século XIX, a colonização africana e asiática pelos países europeus são frequentemente explicados em termos de superioridade tecnológica.
Nossa época, no entanto, trouxe uma novidade em relação ao papel que a tecnologia sempre desempenhou nos conflitos humanos: a potencialidade de destruição da própria vida humana.
Isso pode ser ilustrado por uma frase do Baghavad-Gita, livro sagrado do hinduísmo, que o físico Robert Oppenheimer usou para explicar o que sentiu depois de assistir a explosão da primeira bomba atômica no deserto de Los Alamos.
Agora eu me tornei a morte, a destruidora de mundos.
Esse poder destrutivo, historicamente recente, que a tecnologia adquiriu é hoje atribuído a diferentes inovações como a nanotecnologia, a inteligência artificial geral e as armas autônomas letais. É sobre estas que quero tratar neste artigo.
O sistema de armas autônomas letais (lethal autonomous weapons system), conhecido pela sigla LAWS tem gerado debates acadêmicos, preocupações de organizações não governamentais que atuam no campo da IA e discussões no campo do direito internacional.
O The Batch informa que “enquanto os líderes mundiais debatem a ética de armas totalmente autônomas, robôs assassinos já estão em marcha”. Isso porque segundo um relatório da ONU, em março de 2020, o Governo da Líbia pode ter utilizado drones autônomos para atacar forças rebeldes em retirada.
Comboios foram perseguidos e atacados pelo Kargu-2, um drone de ataque feito pela empresa turca STM que pode ser operado remotamente de forma manual mas também pode ser utilizado na função autônoma que usa machine learning e processamento de imagem em tempo real.
Neste último caso, ao identificar alvos por meio de reconhecimento facial e de objeto, esses drones mergulham em direção aos combatentes inimigos e ao colidir com eles, detonam um dispositivo explosivo que fica embutido no aparelho.
Os drones, portanto, voam para um local específico, escolhem seus próprios alvos e matam pessoas sem a ajuda de um operador humano que o controle remotamente.
O relatório não é categórico em dizer que pessoas na Líbia foram mortas por armas autônomas, pois não deixa claro se o drone turco foi utilizado na função manual ou autônoma.
O debate sobre armas autônomas no Brasil é exíguo. No entanto, no mundo, esse é um dos temas mais urgentes e importantes de se discutir. Lembro-me de uma Conferência Internacional de Filosofia do Direito que participei em 2019, em que acadêmicos russos, chineses e norte-americanos apresentaram trabalhos sobre armas autônomas. Estes países, é claro, estão entre os maiores produtores de armas do mundo e disputam entre si o domínio global.
Mas o debate também deve ser feito em todos os outros países, pois o uso de sistemas de armas autônomas letais terá um efeito global, na medida em que o desenvolvimento e a produção desses sistemas não é algo que demande o gasto de valores exorbitantes, como no desenvolvimento de armas nucleares.
Assim, mesmo países que não são potências militares serão capazes de desenvolver esse tipo de armamento, fazendo com que seus vizinhos sejam movidos a desenvolver seus próprios sistemas para não ficar para trás em matéria de defesa, o que acabará gerando um efeito bola de neve.
Além disso, esses sistemas podem ser utilizados em operações policiais, de contraterrorismo, mas também por grupos terroristas ou organizações criminosas. Por tudo isso, é urgente um maior debate sobre os LAWS em países como o Brasil.
Mas como poderíamos definir os LAWS? Apesar das discordâncias entre estudiosos do tema, podemos começar com a seguinte definição ampla de sistemas de armamento autônomo.
Qualquer sistema de armas com autonomia em suas funções críticas. Ou seja, um sistema de armas que pode selecionar (procurar, detectar, identificar, rastrear) e atacar (neutralizar, danificar ou destruir) alvos sem intervenção humana. Quando esses sistemas tem capacidade de destruir seus alvos, dentre os quais se incluem os seres humanos, eles se tornam letais, ou seja um sistema de armas autônomas letais.
Os LAWS combinam IA e robótica para uso militar, cujo resultado podemos ver nos chamados slaughterbots ou killer robots, robôs que tomam decisões autônomas sobre matar ou não uma pessoa.
Assim, chegamos a uma definição sintética dos LAWS.
São sistemas de armas que usam inteligência artificial (IA) para identificar, selecionar e matar alvos sem intervenção humana.
Os LAWS são sistemas de armas porque eles funcionam com o uso de drones letais — na casa das dezenas, centenas ou milhares — que trabalham em conjunto como um enxame de abelhas, por exemplo. Isso é conhecido como robótica de enxame (swarm robotics).
Os LAWS, portanto, não são simplesmente drones. São drones que trabalham em conjunto, compondo um sistema.
O futuro de operações militares, mas também policiais, parece apontar para as armas autônomas, que podem se tornar um aspecto inevitável — e talvez o principal — em situações que envolvam o uso da violência.
Em San Francisco, na Califórnia, a polícia foi autorizada a usar robôs para matar, nas situações em que o risco de perda de vida para cidadãos e policiais seja iminente.
Ano passado, viralizou no Twitter um vídeo de um "cão robô" disparando uma metralhadora que foi acoplada a ele. Segundo a Vice, o robô do vídeo parece ser um Unitree Yusu, vendido no AliExpress por cerca de US$ 3.000. A arma do robô é russa. Antes de chegar ao Twitter, o vídeo tinha sido postado numa conta de YouTube de uma pessoa cujo perfil informa que mora em Moscou. Não se sabe se o robô está atirando sozinho ou se, o que é mais provável, um ser humano está puxando o gatilho remotamente. Também dá para perceber que o robô tem certa dificuldade com o recuo produzido pelo disparo da metralhadora. No entanto, a imagem é impactante.
Segundo o Wired, a Agência de Projetos de Pesquisa Avançada de Defesa dos EUA (DARPA) testou, no verão de 2020, enxames de drones autônomos projetados para localizar e atacar terroristas escondidos em edifícios. Na simulação, as máquinas, cada uma do tamanho de uma mochila grande, receberam um objetivo e, em seguida, elaboraram um plano para atingi-lo. Alguns robôs cercaram prédios, enquanto outros realizaram varreduras de vigilância. Alguns foram destruídos por explosivos simulados; outros identificaram sinalizadores que representavam combatentes inimigos e optaram por atacar.
O exercício serviu para testar como a inteligência artificial poderia ajudar a expandir o uso da automação em sistemas militares, inclusive em cenários muito complexos e rápidos para os humanos tomarem todas as decisões críticas. Segundo a reportagem, ficou mais claro para o Pentágono que as máquinas podem superar os humanos na análise de situações complexas ou nas operações em que tudo acontece de forma muito rápida.
Timothy Chung, o responsável pelo projeto de enxame da DARPA, diz que os exercícios de 2020 foram projetados para examinar quando um operador humano deve ou não deve tomar decisões no lugar dos sistemas autônomos. Por exemplo, diante de múltiplos ataques, o controle humano às vezes pode atrapalhar uma missão, porque as pessoas não conseguem reagir com rapidez suficiente. “Na verdade, os sistemas podem se sair melhor sem a intervenção de alguém”, diz Chung.
Isso traz a discussão sobre o humano no loop, algo que faz parte das recomendações éticas sobre o uso da IA e das propostas de regulação legislativa dessa tecnologia, como vemos na União Europeia. A revisão das decisões automatizadas prevista no GDPR, a norma europeia sobre proteção de dados, exige a presença do humano no loop, isto é, uma avaliação humana da decisão algorítmica tomada autonomamente.
Mas os responsáveis pelas demonstrações com drones autônomos têm manifestado dúvidas a respeito da manutenção de um humano no loop. Segundo o Wired, o general John Murray, do Comando de Inovações do Exército dos EUA, disse ano passado que enxames de robôs forçarão os militares, os políticos e a sociedade como um todo a pensar a que pessoa ou a quais pessoas deve caber a decisão sobre quando e contra quem usar a força letal desses sistemas autônomos.
Murray perguntou: “Está dentro da capacidade de um ser humano escolher as situações nas quais esses sistemas devem ser engajados e então tomar decisões sobre 100 casos individuais?”
E acrescentou: “É mesmo necessário ter um humano no loop?”
No mesmo evento, o tenente-general Clinton Hinote, vice-chefe de gabinete para estratégia, integração e requisitos do Pentágono, disse que a remoção ou não do fator humano do circuito de um sistema autônomo letal é um dos debates mais interessantes e ainda não resolvidos da atualidade.
A falta de um humano no loop levanta uma série de problemas, desde os mais práticos até aqueles que envolvem uma reflexão mais profunda.
A IA pode apresentar vieses ou se comportar de forma imprevisível. Assim, como exemplifica a reportagem da Wired, um algoritmo treinado para reconhecer um uniforme específico pode mirar erroneamente em alguém vestindo roupas semelhantes.
Seria prudente utilizar uma tecnologia que, caso erre, trará como consequência a morte de uma pessoa ou de grupos de pessoas?
O The Batch resume os problemas com o uso dessa tecnologia militar: a IA que não conseguir diferenciar amigos de inimigos de forma confiável atingirá alvos errados, matará civis e atacará inimigos que se renderam. Sistemas treinados para reagir rapidamente a ameaças aumentarão o número de conflitos e pessoas não serão responsabilizadas por atrocidades resultantes das decisões automatizadas.
Por outro lado, a utilização da IA para fins militares, desde que respeite determinados parâmetros, tem um potencial positivo em termos de defesa, como afirma Stuart Russell, Professor de ciência da computação em Berkeley e um dos maiores pesquisadores do mundo em matéria de IA.
Como explica Eric Schmitt, na entrevista dada a Tim Ferris, os sistemas autônomos poderiam ser utilizados para proteger unidades militares contra tecnologias de guerra já existentes como os mísseis supersônicos, isto é, mísseis que viajam numa velocidade tão rápida até seu alvo que se torna impossível para um ser humano, utilizando sistemas como o radar, identificar sua chegada e tomar uma decisão capaz de se livrar do míssil. Num contexto como esse, Schmitt diz que um sistema autônomo seria capaz de identificar a ameaça e alertar, por exemplo, o comandante de um navio para que ele tome a tempo uma medida capaz de salvar a embarcação. Mas isso traz desafios em termos de tomada de decisão, pois o comandante do navio perde sua autonomia: ele confia num sistema que recomenda desviar de um míssil que ele sequer é capaz de ver no radar.
Isso indica uma mudança no modo de realizar operações militares e de se pensar a guerra. Segundo o Wired, numa conferência sobre IA na Força Aérea dos Estados Unidos, Michael Kanaan, diretor de operações do Acelerador de Inteligência Artificial para a Força Aérea do MIT, disse que a tendência é de que a IA passe cada vez mais a realizar a identificação dos alvos em potencial, assumindo um status operacional, enquanto os humanos devem tomar as decisões de mais alto nível.
Paul Scharre, especialista do Center for New American Security e autor de Army of None: Autonomous Weapons and the Future of War, disse ao Wired que a discussão sobre a tecnologia de armas autônomas precisa se sofisticar: “a discussão em torno de humanos no loop deve ser mais sofisticada do que simplesmente um binário eles estão ou não estão. Se um humano toma a decisão de enfrentar um enxame de drones inimigos, ele precisa selecionar individualmente cada alvo?”
Scharre, portanto, defende que há casos em que o humano deve estar e há casos em que ele não deve estar no loop. Isso parece ser inclusive uma exigência da própria tecnologia, pois não haveria pessoa capaz de tomar decisões na rapidez que um confronto entre enxames de drones exigiria.
Aos seres humanos caberia o estabelecimento das diretrizes mais amplas sobre as situações que ensejariam o uso dos LAWS, mas uma vez iniciada a operação, as decisões ficariam a cargo das máquinas.
Os LAWS também trazem questões importantes no campo da geopolítica. De 2013 para cá, 30 países, dentre os quais o Brasil, já se manifestaram apoiando a proibição global de armas totalmente autônomas, sem qualquer controle humano significativo, mas China, Rússia e EUA têm bloqueado os esforços no sentido desta proibição.
Considerando que países não democráticos continuarão a desenvolver e a utilizar os LAWS sem qualquer controle interno e dificilmente com algum controle externo, é muito difícil imaginar que regimes democráticos pelo mundo deixem de desenvolver esse tipo de arma, pois isso poderia significar sua derrota no campo militar.
Podemos fazer um paralelo com o uso de armas químicas. Elas foram utilizadas em larga escala pelos dois lados em conflito na Primeira Guerra Mundial. Nenhum deles queria ceder ao inimigo o domínio exclusivo de uma tecnologia que poderia contribuir para a vitória naquele conflito. As armas químicas só começaram a ser banidas após sua utilização em larga escala entre 1914 e 1918 e, mesmo depois disso, foram utilizadas por ditadores como Saddam Hussein e, recentemente, Bashar al-Assad contra sua própria população.
É provável, portanto, que, como se deu com as armas químicas, as armas autônomas letais não sejam banidas antes de serem utilizadas em algum conflito.
O problema é que o acesso aos LAWS é muito mais fácil e barato do que o acesso a armas químicas assim como seu potencial destrutivo é também muito maior. Segundo o The Batch, os drones são relativamente baratos e os sistemas de IA estão se tornando mais fáceis de se desenvolver. Uma vez que seu inimigo está determinado a usá-los, cria-se uma janela de tempo muito estreita para impedir isso.
Outro paralelo pode ser feito com as armas nucleares. Enquanto seu desenvolvimento demora anos e é uma atividade extremamente custosa, demorada e complexa, o desenvolvimento dos LAWS é feito com muito menos dinheiro e em um tempo muito menor.
A comunidade internacional se vê, portanto, diante de um desafio maior do que tem sido enfrentado em relação a proliferação de armas nucleares. Os Estados Unidos ou Israel podem, por exemplo, aplicar sanções econômicas que dificultem o Irã de obter uma arma atômica ou fazer ataques preventivos em suas instalações para atrasar ou mesmo impedir o desenvolvimento dessas armas. Com os LAWS a situação é muito diferente.
Assim, ao mesmo tempo em que os países precisam de maneiras de se defender uns dos outros, o que deverá passar pelo desenvolvimento de LAWS, o estabelecimento de pelo menos um limite entre o que é e o que não é aceitável em relação a essas armas seria algo recomendável, já que a sua proibição total parece ser algo impossível no momento.
Mas se fossemos pensar em termos ideais, diante dos riscos trazidos pelos LAWS, o mais prudente seria uma proibição completa de seu desenvolvimento e utilização.
Max Tegmark, professor do MIT e cofundador do Future of Life Institute, uma organização sem fins lucrativos que defende o banimento das armas autônomas exemplifica para o Wired que tipo de risco as LAWS trazem.
“Armas autônomas letais baratas o suficiente para que todos os terroristas possam comprá-las não são do interesse da segurança nacional dos Estados Unidos”. Sobre o relatório da Comissão de Segurança Nacional de Inteligência Artificial não ter recomendado uma proibição global dessas armas, diz ele: “Acho que um dia nos arrependeremos ainda mais do que nos arrependemos por ter armado o Talibã”.
O perigo de que tecnologias como os LAWS saiam do controle e ameacem a própria continuidade da vida humana é uma possibilidade, retratada no episódio Metalhead, da quarta temporada da série Black Mirror, que mostra um cenário distópico em que killer robots, depois de causar o colapso da civilização, perseguem os poucos humanos que restaram.
Outro cenário distópico é retratado no curta metragem Slaughterbots, que traz potenciais situações envolvendo ataques de enxames de drones autônomos.
O vídeo termina com um alerta de Stuart Russell de que não se trata de mera especulação, mas de usos possíveis de tecnologias que já possuímos. A IA tem um potencial benéfico enorme para a humanidade, mas permitir que ela decida matar humanos é uma linha que não devemos cruzar, pois isso seria devastador para a nossa segurança e liberdade, diz Russell.