Ferramentas de IA no direito: como elas podem (ou não) ajudar na interpretação jurídica? - Parte 2
O que o caso Snell v. United Specialty Insurance Company revela sobre o potencial e as limitações dos LLMs no direito
No artigo anterior, narrei como o juiz Kevin Newsom utilizou o ChatGPT para auxiliá-lo a determinar o sentido de um termo fundamental para o caso que julgava.
Hoje, continuo apresentando as considerações de Newson sobre IAs e interpretação do direito, no caso Snell v. United Specialty Insurance Company.
Mas agora, vamos nos debruçar sobre as vantagens e as desvantagens do uso de modelos de linguagem de grande porte (LLMs) — como ChatGPT, Gemini e Claude — ao interpretar textos jurídicos.
Vantagens do uso de LLMs na interpretação
Os LLMs são treinados com entradas em linguagem comum
Para um textualista como Newson, que parte do princípio de que as palavras utilizadas no direito devem ser compreendidas em seus significados comuns e cotidianos, essa é uma grande vantagem que os LLMs apresentam.
Esses modelos aprendem com base dados tirados principalmente da internet. Isso faz com que os outputs acabem refletindo a linguagem que as pessoas usam em seu dia a dia, bem como diferentes manifestações do pensamento humano, com níveis de especialização diferentes: desde manifestações científicas, até usos comuns do cotidiano.
Por isso, na busca por um significado comum do termo landscaping, Newson afirma que os LLMs podem fornecer insights significativos, pois os dados da internet nos quais são treinados contêm inúmeros usos desse termo, provenientes de diversas fontes: páginas profissionais, sites de faça-você-mesmo, notícias, anúncios, registros governamentais, postagens em blogs e discussões gerais sobre o tema.
Desse modo — não esquecendo da possibilidade de vieses — os LLMs podem estar refletindo “como as pessoas comuns usam a linguagem no dia-a-dia”.
LLMs podem “compreender” o contexto
Isso acontece por causa do “mecanismo de atenção” (attention mechanism), uma funcionalidade dos LLMs que facilita o reconhecimento de como as palavras são usadas em um determinado contexto.
Eles podem, portanto, avaliar o uso da terminologia conforme o contexto, permitindo facilmente diferenciar quando uma mesma palavra tem um sentido ou outro, o que anteriormente costumava ser uma limitação para os modelos de IA.
Assim, um LLM não terá problemas em identificar quando a palavra em inglês bat significa morcego e quando essa mesma palavra bat é utilizada para significar significar taco, exemplifica Newson,
Temos, portanto, “máquinas de previsão de linguagem de alta performance, capazes de mapear probabilisticamente, entre outras coisas, como as pessoas comuns usam palavras e expressões em contexto”.
Uma capacidade como essa pode evidentemente ser explorada pelo intérprete do direito.
LLMs são acessíveis
Juízes, advogados, bem como os cidadãos em geral já têm fácil acesso a LLMs e isso só vai aumentar no futuro.
Segundo Newsom, essa acessibilidade dos LLMs é importante em pelo menos dois aspectos:
ela oferece a promessa de “democratizar o processo interpretativo”, tanto ao incorporar insumos da linguagem usada por pessoas comuns, quanto ao estar disponível para uso por qualquer pessoa.
juízes, advogados e litigantes passam a ter uma ferramenta de pesquisa acessível e de baixo custo.
Outros meios de pesquisa costumam ter custos maiores. É o que pode acontecer com dicionários online com paywall e softwares de pesquisa jurídica como Westlaw e Lexis, que funcionam pelo modelo de assinatura.
É claro que o acesso a modelos mais complexos também é pago e muitas vezes a um custo considerável. Mas a pesquisa do sentido de landscaping, ainda que imperfeita, teve custo zero, diz Newson.
Além do mais, como a tecnologia avança muito rapidamente, pode ser que surja um LLM open source gratuito que não tenha os mesmos problemas que os modelos atuais possuem ou mesmo que supere os modelos pagos.
Daqui a pouco tempo, mesmo as limitações na pesquisa percebidas por Newson podem estar sanadas sem que haja um custo relevante para quem realiza a pesquisa.
A pesquisa com LLMs é relativamente transparente
Newsom defende que o uso de LLMs para facilitar a interpretação com base no significado comum pode, na verdade, aumentar a transparência e a confiabilidade do próprio processo interpretativo, pelo menos em comparação com as práticas atuais.
Frequentemente se afirma que não se sabe os dados usados no treinamento de LLMs, o que é verdade. Mas pensemos nos meios tradicionais utilizados para a pesquisa jurídica: dicionários, enciclopédias e livros de doutrina.
Diríamos que é completamente transparente o processo que resulta em uma determinada definição estar presente em um dicionário e outra não? Quem exatamente os compila? E com quais critérios os editores escolhem e organizam as definições dentro de cada verbete?
Fica claro nos livros de doutrina porque um conceito ou uma teoria tem destaque ou é apresentada como correta e outra não?
É verdade que os livros trazem as referências bibliográficas que o leitor atento pode rastrear para tentar compreender as teorias que embasam as escolhas que o autor de um livro faz. Mas o problema é que, com frequência, isso não acontece.
Como exemplifica Newson, costumamos “considerar os dicionários como algo garantido, como se tivessem sido entregues por um profeta”, mas os detalhes precisos de sua construção nem sempre são evidentes.
Também é verdade que não sabemos quais são exatamente os dados utilizados para treinar os LLMs. Mas Newson pondera que, apesar disso, é justo afirmar que sabemos duas coisas importantes sobre eles:
de onde os LLMs estão aprendendo — ou seja, de uma quantidade massiva de dados da internet; e
o que torna os LLMs tão úteis — especificamente, sua capacidade de prever com precisão como as pessoas comuns utilizam a linguagem em seu dia a dia.
Riscos do uso de LLMs na interpretação
LLMs podem alucinar
Em resumo, um LLM “alucina” quando, em resposta à consulta de um usuário, gera fatos que simplesmente não são verdadeiros ou, pelo menos, não são totalmente verdadeiros.
Quando isso acontece, a IA inventa jurisprudências e normas que não existem ou que não são precisas. Daí a importância de um profissional do direito sempre checar o output que a máquina entrega. Não existe ainda IA à prova de alucinação.
É verdade que a frequência com que as alucinações ocorrem têm diminuído. Mas isso não nos permite evidentemente baixar a guarda.
O juiz Newson faz uma observação importante confiar nos outputs de LLMs e confiar nas alegações de advogados humanos. Com efeito, o juiz deve verificar com precaução qualquer argumento, independentemente de onde ele venha.
“Advogados de carne e osso também alucinam. Às vezes, essas "alucinações" são erros cometidos de boa-fé. Mas, com demasiada frequência, temo que sejam intencionais — no calor do momento, advogados por vezes distorcem fatos, manipulam sutilezas jurídicas e até omitem precedentes desfavoráveis. Portanto, no pior dos casos, o problema das “alucinações” dos LLMs não é um argumento contra o seu uso, mas sim um alerta para evitar uma confiança cega em seus resultados — da mesma forma que nenhum juiz diligente confiaria cegamente nas alegações de um advogado”.
Os LLMs não capturam a linguagem falada offline e, por isso, podem não representar completamente os usos linguísticos de populações sub-representadas
Esse problema acontece quando determinados grupos de pessoas têm pouca ou nenhuma presença nos datasets utilizados no treinamento dos LLMs. Isso tende a acontecer com pessoas que vivem em comunidades mais pobres (como algumas minorias e habitantes de áreas rurais) que têm menos acesso à internet.
Consequentemente, suas visões de mundo — expressas, por exemplo, em sua escrita — não serão considerados na avaliação do significado comum feita pelos LLMs.
Esse talvez seja o risco mais sério com os LLMs: à medida que seu uso se espalha, populações inadequadamente representadas nos dados de treinamento terão seus pontos de vista consequentemente também pouco representados nos outputs.
Ainda sim, Newson não considera que “isso comprometa fatalmente a utilidade dos LLMs, pelo menos como uma ferramenta entre várias para avaliar o significado comum”.
Ele observa que idealmente o conjunto de informações do qual qualquer fonte de significado se baseia capturaria todas as entradas possíveis. Mas sabemos que isso não é a realidade.
Como vimos acima, em dicionários, enciclopédias e livros, também são feitas escolhas que podem eventualmente desconsiderar determinado ponto de vista.
Assim, Newson argumenta que, presumivelmente, os LLMs são treinados
“não apenas com dados que surgiram online, mas também com materiais criados no mundo físico e posteriormente digitalizados e disponibilizados na internet. E há menos razão para temer que pessoas em comunidades carentes estejam em desvantagem comparativa significativa em relação a essa segunda categoria de dados”.
Advogados, juízes e interessados em ingressar com uma ação podem tentar manipular os LLMs
Há o risco de advogados e juízes usarem LLMs para manipular respostas a seu favor:
testando diferentes modelos até encontrar um que forneça a resposta desejada;
formulando perguntas de maneira tendenciosa para direcionar a IA a responder de um jeito que reforce sua argumentação.
Mas Newson minimiza essa preocupação dizendo que ela não é um problema novo, mas sim uma questão recorrente no direito (evergreen issue). Isso já acontece com outras fontes de interpretação, como dicionários, jurisprudência e doutrina, pois é comum profissionais selecionarem apenas as definições ou precedentes que favorecem seu argumento.
Com relação a futuros litigantes, há também o risco potencial de data poisoning, ou seja, tentar corromper os dados nos quais os LLMs são treinados, manipulando o sistema para gerar respostas favoráveis.
Isso, no entanto, pode ser considerado como uma ameaça teoricamente possível, mas pouco viável na prática.
Primeiro, porque a maioria dos modelos tem um "corte" no treinamento — por exemplo, a primeira versão do GPT-4 foi treinada com dados até setembro de 2021. Assim, seria difícil, senão impossível, poluir os dados de entrada retroativamente.
Em segundo lugar, e ainda mais importante, parece quase inconcebível que um agente mal-intencionado consiga, de forma discreta, inundar um conjunto de dados com um volume suficiente de novas entradas para influenciar significativamente os resultados. O GPT-3.5 Turbo, por exemplo, foi treinado com mais de 400 bilhões de palavras, ou seja, seria necessário um volume imenso de manipulação para causar um impacto real.
Além do mais, temos vários modelos disponíveis. Assim, mesmo que uma empresa de IA possa, ela própria, ser parte em litígios e — o que Newson duvida — considere vantajoso corromper seu próprio produto apenas para obter uma vantagem interpretativa em um único caso, esse risco pode ser mitigado — ou mesmo eliminado — simplesmente consultando múltiplos modelos em vez de apenas um.
A dependência dos LLMs vai nos levar a uma distopia
Essa tecnologia traria os juízes robôs ou a resolução algorítmica dos conflitos? Newson pensa que não e justifica com uma passagem escrita pelo Chief Justice da Suprema Corte dos EUA, John Roberts:
“o direito sempre exigirá a tomada de decisões em ‘zonas cinzentas’, o que implica a intervenção do julgamento humano”.
Assim, os LLMs não devem ser vistos como um oráculo que dá uma resposta a ser aplicada mecanicamente ao caso, originando uma decisão.
Na verdade, eles são mais um ponto de apoio a ser utilizado junto com dicionários, cânones interpretativos e contexto sintático na avaliação do significado comum das palavras por um intérprete humano.
Conclusão
Os LLMs trazem vantagens que podem ser exploradas pelo intérprete do direito. Mas também trazem riscos que, embora não tornem desaconselhável o uso de IA, ainda sim devem ser levados em consideração.
Agora que vimos como Newsom utilizou um LLM em um caso que julgava e examinamos os prós e os contras do uso dessa tecnologia pelo intérprete, resta avaliar como se pode maximizar a utilidade que os LLMs trazem para a interpretação do direito. É o tema do próximo artigo.
As aulas começam em poucos dias e essa é sua chance de aprender Governança de IA na prática.
Datas das aulas ao vivo:
11/02, 18/02 e 25/02, das 19:30h às 21:30h.
💻 As aulas ficarão gravadas!
🔗 Inscreva-se agora
Excelente artigo!