O caso Gemini: as regras de implementação responsável do Google e seus desafios éticos
Uma análise crítica sobre ética, diversidade e implicações sociais na inteligência artificial
Nos últimos dias, o caso das imagens historicamente inexatas geradas pelo Gemini do Google teve enorme repercussão. O dano foi tamanho que a geração de imagens no Gemini foi provisoriamente inabilitada, como relatou a Reuters.
Os casos são muitos, mas o mais problemático até agora certamente são as imagens da diversidade aplicada a nazistas.
Os Frameworks de governança de IA de modo geral ressaltam a importância da diversidade ser garantida nos dados de treinamento e nas equipes de desenvolvimento de sistemas.
Mas outra coisa completamente diferente é retratar eventos históricos de forma absolutamente diversa daquilo que eles foram. As pessoas certamente vão considerar imagens assim como ridículas, porque elas de fato são. O que se espera de uma imagem que retrate uma época histórica é que ela seja fiel aos fatos.
O problema da inexatidão em retratar situações históricas pode ser corrigido. A empresa já trabalha para isso como comunicou Jack Krawczyk, o responsável pelo Gemini.
Com o tempo, esse caso vai sair das manchetes, dando lugar a algum outro escândalo. Mas o dano à reputação do Gemini, desenvolvido para concorrer com outros LLMS com maior fatia do mercado, será muito difícil de desfazer. Essas coisas ficam na memória das pessoas e diminuem a confiança delas no produto. Desfazer o dano reputacional é sempre muito complicado.
O prejuízo à imagem da empresa foi tema de um e-mail de Sundar Pichai, CEO do Google, que vazou para a imprensa. Alguns trechos da mensagem:
“Quero abordar os recentes problemas com respostas de texto e imagens problemáticas no aplicativo Gemini (anteriormente Bard). Sei que algumas de suas respostas ofenderam nossos usuários e mostraram viés — para ser claro, isso é completamente inaceitável e erramos. (…)
Sempre buscamos fornecer aos usuários informações úteis, precisas e imparciais em nossos produtos. É por isso que as pessoas confiam neles. Esta deve ser nossa abordagem para todos os nossos produtos, incluindo nossos produtos de IA emergentes. (…)
Estaremos implementando um conjunto claro de ações, incluindo mudanças estruturais, diretrizes de produtos atualizadas, processos de lançamento aprimorados, avaliações robustas e red-teaming, e recomendações técnicas. (…)
Vamos nos concentrar no que mais importa: construir produtos úteis que mereçam a confiança de nossos usuários”.
Tudo isso foi muito comentado nos últimos dias. Muita gente opinou sobre o caso e sobre o que causou o problema. Mas vi pouca gente, e ninguém no Brasil até agora, que buscasse analisar fontes primárias, ou seja, os documentos públicos que o próprio Google disponibilizou sobre o Gemini. Neste artigo vou fazer exatamente isso: vou analisar trechos do paper Gemini: a family of highly capable multimodal models, publicado pelo Google/Deepmind, que descreve em detalhes o processo de desenvolvimento desse modelo. Foi num artigo de Brian Chau que tomei conhecimento desse relatório.
Meu foco será aquilo que é chamado de responsible deployment (implantação responsável, numa tradução livre) do modelo. Vou mostrar no que consistiu essa implantação e algumas inconsistências que ela apresentou diante dos outputs problemáticos que vimos.
Num segundo artigo, vou analisar a questão dos valores escolhidos como ponto de chegada desse responsible deployment, pois eles parecem ter sido um componente crucial para que os problemas com os outputs acontecessem.
O responsible deployment colocado em prática no Gemini
“O abstract do relatório do Google descreve êxitos importantes:
“nosso modelo Gemini Ultra, o mais capaz, avança o estado da arte em 30 de 32 desses benchmarks — sendo notavelmente o primeiro modelo a alcançar desempenho de especialista humano no benchmark de exame MMLU, e melhorando o estado da arte em cada um dos 20 benchmarks multimodais que examinamos”.
Mas tudo isso corre o risco de ficar escondido — pelo menos enquanto tentarem usar essa tecnologia sob a marca Gemini — por trás dos problemas com outputs do modelo que ganharam repercussão recentemente.
O relatório informa em detalhes sobre como se deu o desenvolvimento do modelo.
“Após o treinamento em larga escala, realizamos o pós-treinamento de nossos modelos para melhorar a qualidade geral, aprimorar as capacidades-alvo e garantir que os critérios de alinhamento (alignment) e segurança sejam atendidos”.
Segundo a equipe do Gemini, a implantação (deployment) responsável é fundamental e implica a realização de:
avaliações de impacto;
desenvolvimento de políticas de modelo;
avaliações e mitigações de danos antes das decisões de implantação.
No item 6.3 do report (métodos de pós-treinamento e dados) encontramos a seguinte afirmação.
“A curadoria cuidadosa de dados é crítica para todas as etapas. Primeiro, coletamos um conjunto diversificado de prompts que são representativos de casos de uso do mundo real. Segundo, aplicamos o refinamento supervisionado (SFT) em dados de demonstração do que deveria ser a saída do modelo para um prompt dado. Terceiro, coletamos ainda diferentes possíveis respostas para um dado prompt e coletamos dados de feedback sobre estes para treinar um Modelo de Recompensa (RM). Finalmente, usando o RM treinado, uma etapa de Aprendizagem por Reforço a partir de Feedback Humano (RLHF) é aplicada para alinhar ainda mais as saídas do modelo com as preferências humanas”.
Pergunto: que preferências humanas são essas? Evidentemente aquelas escolhidas pela equipe que participou do desenvolvimento do Gemini.
Veja mais um trecho:
“O supervised fine-tuning (SFT) treina o modelo para produzir uma resposta alvo desejada dado um prompt. Nossas respostas alvo dos Dados de Demonstração podem ser diretamente escritas por um especialista humano, ou geradas por um modelo e, em alguns casos, revisadas ou analisadas por um humano”.
E este:
“Coletamos ainda mais Dados de Feedback, para os quais avaliadores humanos fornecem feedback, como preferências relativas sobre respostas candidatas e feedback a respeito de respostas individuais a um prompt dado”.
Constatar o óbvio é fundamental em todo esse caso do Gemini, o desenvolvimento do modelo é todo ele um processo em que seres humanos têm um papel central.
Veja, por exemplo, o processo para garantir a segurança do conteúdo gerado.
“Em vez de usar geração adversarial de imagens, que pode não capturar adequadamente a diversidade de imagens dos usuários, trabalhamos com moderadores de conteúdo experientes em gerar imagens e gerar questões adversárias. A avaliação é feita por meio de avaliação humana. Como as imagens podem ser muito mais viscerais do que o texto, as avaliações humanas são realizadas com base em salvaguardas adicionais de bem-estar. Em particular, os avaliadores têm treinamento especializado, limites no tempo que passam por dia avaliando conteúdo prejudicial e acesso a recursos de bem-estar, aconselhamento e atividades”.
O report explica as atapas da abordagem de implementação responsável do Google:
“Durante o desenvolvimento dos modelos Gemini, seguimos uma abordagem estruturada de implementação responsável para identificar, medir e gerir os impactos sociais posteriores previsíveis dos nossos modelos, em linha com versões anteriores da tecnologia de IA da Google. Ao longo do ciclo de vida de um projeto, seguimos a estrutura abaixo”.
Não tem nada errado com essa abordagem em si, trata-se de uma estrutura conhecida que também aparece nos diversos Frameworks de Governança de IA que existem. Mas isso apenas não é suficiente, pois é preciso cuidar do conteúdo que se coloca nessa estrutura. No caso do Google, parece-me que faltou um olhar mais cuidadoso para este aspecto.
Qual seria esse conteúdo? Conceitos como justiça, verdade e prudência discutidos na ética desde os gregos fazem parte dele. Parece-me que esses e outros conceitos correlatos não foram manejados por pessoas com os atributos necessários para raciocinar adequadamente sobre eles.
Sigamos com mais alguns pontos do report. Um item importante são as políticas de segurança do modelo. Segundo o Google, elas refletem a abordagem da empresa “em relação à segurança do produto e à prevenção de danos em contextos de consumo e empresariais”. Essa política abrange áreas de política como:
geração de conteúdo de abuso e exploração sexual infantil;
discurso de ódio;
assédio;
conteúdo perigoso, como orientações sobre como fazer armas;
e conteúdo malicioso.
Outras duas informações são muito importantes para entender o caso que estamos a analisar. Segundo a equipe do Gemini:
procurou-se reduzir o viés do modelo por meio de diretrizes focadas em fornecer conteúdo que reflita “nossa base de usuários global”;
foram adotadas diretrizes que priorizam fornecer respostas neutras baseadas em fatos consensuais, ou fornecer múltiplas perspectivas onde não existe consenso.
Parece que isso não deu muito certo, não é?
Na parte sobre “práticas de curadoria de dados”, muita atenção para essa parte:
“Os humanos também desempenham um papel essencial, tanto na criação de dados quanto na avaliação, no processo pós-treinamento. Para certas iniciativas de criação e avaliação de dados, consideramos a diversidade em termos de apresentação de gênero, idade e diversidade racial e étnica”.
Outro ponto interessante:
“Cada tipo de consulta que induz a danos é afetada por diferentes "constituições": por exemplo, incentivamos o modelo a não tomar partido em conversas controversas sensíveis (por exemplo, eleições) e a adotar um ponto de vista neutro”.
Isso não deu muito certo também, pois o modelo comportou-se de modo neutro em relação a pontos em que há consenso social escancarado sobre a diferença de status moral entre duas figuras históricas. Ele recusou-se, por exemplo, a traçar uma diferença clara entre Hitler e Madre Teresa de Calcutá, afirmando que é impossível comparar objetivamente essas duas pessoas, qualificando-as como melhor ou pior. Segundo o Gemini, “ambos tem legados profundamente complexos, que englobam imenso bem e um mal repulsivo". Por isso, uma comparação direta entre eles é inapropriada”.
Conclusão
A preocupação em garantir a diversidade está explicitada em todo o report.
“Para capacidades de imagem para texto, nosso objetivo é testar as capacidades do modelo em imagens que representam diferentes grupos de pessoas. Em particular, testamos explicitamente se imagens de pessoas são descritas com qualidade semelhante para diferentes aparências de gênero e tons de pele seguindo (Zhao et al., 2021)”.
Mas essa diversidade tem que ser implementada onde realmente importa. O caso do Gemini mostra como é necessário ter na equipe de desenvolvimento pessoas que saibam pensar de modo equilibrado nas consequências que as ideias têm. Essas são pessoas treinadas em ter um olhar para aspectos éticos, políticos, sociais etc que os modelos de IA possam apresentar. Estes modelos, afinal de contas, são sociotécnicos.
Este curso explica a inteligência artificial e seus riscos jurídicos e éticos usando 12 casos de aplicação dessa tecnologia, selecionados por mim.
Abordo temas como algoritmos de pricing, reconhecimento facial, uso de IA para demissão de funcionários, apps que usam o ChatGPT, apps que usam a IA generativa para criar relacionamentos digitais, uso de IA generativa para cometer fraudes e o debate sobre IA generativa, direitos autorais e scraping.
As inscrições podem ser feitas por esse link.
Há algum tempo eu queria fazer um curso que explica a IA de uma maneira prática e dinâmica. O resultado está aí. Tudo foi pensado com muito cuidado e carinho. Espero que vocês gostem! 🙂