IA no Direito: Como novas ferramentas estão impactando a qualidade do trabalho jurídico (Parte 1)
Análise de um estudo sobre como a tecnologia RAG e os modelos de raciocínio podem transformar a qualidade e a produtividade do trabalho jurídico
No último dia 04, foi publicado um paper que considero que vai interessar a todo profissional que procura compreender o impacto da IA na prática jurídica. Trata-se do estudo AI-Powered Lawyering: AI Reasoning Models, Retrieval Augmented Generation, and the Future of Legal Practice, conduzido por Daniel Schwarcz e Sam Manning, da Faculdade de Direito da Universidade de Minnesota em conjunto com outros quatro autores.
O artigo traz o primeiro estudo controlado e randomizado avaliando o uso de dois recentes avanços de IA generativa — uma técnica conhecida como Retrieval Augmented Generation (RAG) e os modelos de raciocínio (reasoning) — na realização de tarefas jurídicas.
A RAG costuma ser apontada como uma boa solução para aumentar a precisão da pesquisa jurídica. Isso porque, a grosso modo, o modelo primeiro busca informações relevantes em uma base de conhecimento (jurisprudência, legislação, doutrina) e, com base nelas, usa modelos de linguagem para gerar um texto mais preciso e embasado.
No contexto do direito, essa abordagem pode ser útil para evitar respostas imprecisas ou descontextualizadas, já que o modelo pode buscar informações mais apropriadas antes de redigir o texto.
No entanto, como veremos, um achado surpreendente da pesquisa foi que não houve ganhos reais em termos de precisão nos resultados com o uso do RAG. Em um caso, inclusive, a precisão diminuiu.
Utilizou-se no estudo uma ferramenta jurídica de IA chamada Vincent AI, que funciona com o RAG, e o modelo o1-preview da OpenAI, o primeiro modelo de raciocínio lançado.
Schwarcz foi um dos autores do estudo publicado em novembro de 2023 que avaliou os impactos do GPT-4 no trabalho jurídico. Escrevi sobre isso nesse texto de dezembro de 2023.
Cerca de um ano e meio depois, temos um novo estudo cobrindo inovações importantes que surgiram nesse curto período, o que mostra como a tecnologia tem avançado rapidamente.
O estudo mais recente é muito semelhante ao primeiro em termos de metodologia: estudantes de direito mais avançados no curso são divididos em grupos e colocados para realizar atividades típicas da profissão de advogado.
Os participantes foram divididos em três grupos que realizaram as tarefas (i) com o auxílio da Vincent AI, (ii) com o auxílio do o1-preview ou (iii) sem nenhuma IA. O objetivo é medir o impacto do uso dessas IAs em termos de qualidade, velocidade e produtividade do trabalho jurídico realizado.
As tarefas
As tarefas realizadas foram as seguintes.
redigir um e-mail para um cliente;
elaborar um memorando jurídico para um sócio;
analisar uma petição inicial e redigir uma análise jurídica;
redigir um Acordo de Confidencialidade (NDA) para um cliente;
elaborar uma petição de reunião de processos;
redigir uma notificação extrajudicial abordando a validade de uma cláusula de não concorrência.
Aumento da qualidade do trabalho
Enquanto o estudo de 2023 concluiu que o GPT-4 teve pouco impacto na qualidade das tarefas, apesar de acelerar significativamente a execução do trabalho, o estudo de 2025 revelou uma mudança fundamental: as novas ferramentas de IA não apenas mantêm os ganhos em velocidade, mas também elevam consideravelmente a qualidade do trabalho jurídico.
O achado mais significativo da pesquisa é de que a utilização do o1-preview e da Vincent AI levou a melhorias estatisticamente significativas e relevantes na qualidade geral do trabalho em quatro das seis tarefas analisadas. Dentre as duas IAs, o o1-preview foi o que gerou ganhos maiores em termos de qualidade.
As melhorias que ambas as ferramentas de IA trouxeram refletiram em maior clareza, organização e profissionalismo nos trabalhos entregues. Especificamente o o1-preview aprimorou significativamente a lógica e a profundidade da argumentação jurídica em três das seis tarefas.
Sem melhora significativa na precisão do trabalho entregue
Em contrapartida, de acordo com os autores, não se identificou que alguma das ferramentas tenha inequivocamente melhorado a precisão do trabalho. A única exceção a isso foi o o1-preview, que de fato aumentou a precisão quando a tarefa exigia que os participantes concentrassem sua análise em um único documento (uma petição inicial) fornecida como parte da atividade.
A Vincent AI resultou em uma redução na precisão da tarefa de redigir uma notificação extrajudicial. Segundo os pesquisadores,
“esse resultado é surpreendente, considerando que o RAG foi projetado para aumentar a precisão da pesquisa jurídica, como a exigida para essa tarefa. No entanto, como esse efeito foi estatisticamente significativo apenas no nível de 10% e observado em uma única tarefa, suas implicações mais amplas permanecem limitadas”.
Para mim, isso evidencia a importância da revisão humana quando o trabalho for feito com o auxílio de IAs. As ferramentas podem aumentar a qualidade do trabalho. Porém, como ninguém consegue ainda resolver o problema das respostas imprecisas e descontextualizadas, é preciso revisar os outputs com cuidado.
Diminuição das alucinações
Quanto às alucinações — entendidas como citações de fontes inteiramente fabricadas — os resultados foram bem interessantes.
A tecnologia RAG, como a utilizada pela Vincent AI, de fato reduz as alucinações. Na verdade, foram identificadas menos alucinações nas tarefas realizadas com a Vincent AI (3 no total) do que naquelas feitas sem qualquer assistência de IA (4). Em contraste, as tarefas realizadas com o1-preview apresentaram um número substancialmente maior de alucinações.
Note que na tarefa de redigir uma petição de reunião de processos quem não usou IA citou mais fontes completamente equivocadas do que quem usou a Vincent AI. Na tarefa de análise de petição inicial, quem não usa IA comete o mesmo número de erros do que quem usou a tecnologia RAG.
Conclusão
Para quem está familiarizado com o estudo de 2023 — que apontava como grande vantagem das IAs a maior velocidade na realização de tarefas — os resultados do estudo de 2025 são muito interessantes ao mostrarem que ferramentas de IA aumentam a qualidade do trabalho entregue. Isso indica um uso cada vez maior dessa tecnologia no trabalho jurídico.
Mas ainda precisamos analisar de maneira mais ampla as implicações que os dados desse estudo trazem para o futuro do trabalho jurídico: que consequências terá o aumento da produtividade? Que mudanças haverá na formação dos profissionais e no mercado de trabalho?
Essas e outras questões ficam para a semana que vem.
Neste livro, fruto de anos de dedicação, exploro como a IA está transformando nossas vidas e o que isso significa para o futuro do trabalho, da ética, do direito e das relações sociais.
Se você é profissional da área jurídica, da tecnologia ou simplesmente interessado em compreender os impactos éticos e legais da IA, garanto que você vai gostar da leitura.
Você pode saber mais e garantir o seu exemplar pela Amazon:
Ou pelo site da Editora: