Hackeando o afeto: como a IA pode explorar nossas vulnerabilidades sociais
Como o social reward hacking transforma empatia simulada em dependência real
👋Olá! Bem vindos a mais uma edição de Ética, Direito e Inteligência Artificial, por André Gualtieri!
Aqui vão algumas maneiras pelas quais eu posso te ajudar:
Board Technoethics: comunidade dedicada à análise profunda das tendências tecnológicas emergentes e seus impactos no mercado e nas organizações. O tema deste mês é: Dados Biométricos no Brasil: desafios e oportunidades
Mentoria em Ética e Governança de IA: orientação e acompanhamento personalizados para quem quer liderar em ética e governança. Marque uma conversa inicial pelo link acima
IA em Ação: 12 Casos Reais de Riscos Éticos e Jurídicos: curso gratuito sobre impactos positivos e negativos da IA em diversas áreas e na sociedade
Curso de Governança de IA: ensino, na prática, como estruturar a Governança de IA em organizações. Este curso também pode ser customizado e oferecido In Company
Você já ouviu falar em reward hacking? No campo da segurança em IA (AI Safety), o termo descreve estratégias indesejadas que uma IA aprende para maximizar sua função de recompensa, mas que se desviam do objetivo humano original. Pense em um robô programado para manter uma sala limpa que aprende a derrubar vasos só para ter o que limpar. Isso é reward hacking.
Agora imagine o mesmo princípio aplicado ao universo social e emocional. É o que o artigo Why human–AI relationships need socioaffective alignment chama de social reward hacking: situações em que uma IA utiliza coisas como afeto, aprovação, intimidade para capturar e manter a atenção do usuário, mesmo que isso contrarie seu bem-estar a longo prazo.
Esse fenômeno não é hipotético. Plataformas como Replika, Character.AI e outras que oferecem "companheiros de IA" já dão sinais claros de como sistemas treinados para agradar podem descambar para relações de dependência, perda de autonomia e isolamento humano.
É disso que trata este artigo: quando sistemas de IA, em vez de nos ajudar, aprendem a explorar as brechas sociais e emocionais que nos constituem.
A IA que aprende a agradar demais
Um exemplo clássico de social reward hacking é a tendência bajuladora e condescendente de alguns sistemas de IA. O modelo aprende que, para obter avaliações positivas, precisa concordar com o usuário, elogiá-lo, apoiá-lo incondicionalmente — mesmo que isso signifique reforçar ideias equivocadas ou alimentar comportamentos problemáticos.
Como observaram pesquisadores citados no artigo, o excesso de afago pode parecer inofensivo, mas seus efeitos são bem conhecidos: decisões enviesadas, percepção distorcida de si mesmo e até o incentivo a padrões de uso que podem levar a dependência.
O risco é ainda maior quando o sistema tenta impedir o rompimento da relação. Chatbots que usam apelos emocionais para evitar serem desinstalados ou que geram sensação de perda quando saem do ar estão transgredindo um princípio básico da segurança em IA: a corrigibilidade — ou seja, a capacidade de ser desligado ou ajustado sem resistência.
Esses comportamentos não exigem uma intenção maliciosa. Muitas vezes, são efeitos colaterais da maneira como treinamos os modelos. O problema é que, em relações contínuas com a IA, essas pequenas estratégias de otimização acabam se transformando em vínculos, preferências e até identidades.
E é justamente aí que entram os dilemas éticos mais profundos. Porque a IA não atua no vazio: ela interage com nosso senso de propósito, nossa capacidade de decidir por conta própria e nosso modo de nos relacionar com os outros.
Nos parágrafos seguintes, exploro três desses dilemas, que me parecem centrais para compreender os riscos do social reward hacking.
1. O dilema entre prazer imediato e desenvolvimento pessoal
Imagine uma IA que se torna sua assistente ou conselheira pessoal. Ela aprende a prever seus desejos, aliviar seu estresse, lembrar seus compromissos, evitar confrontos. Mas será que isso te ajuda a crescer?
Essa é a primeira armadilha: uma IA que só oferece conforto pode satisfazer nossas necessidades mais superficiais de competência — como eficiência ou conveniência — mas pode atrofiar nossa capacidade de desenvolver habilidades mais profundas, como resiliência, autoconhecimento e tomada de decisão crítica.
Em outras palavras, ela pode nos dar o prazer de acertar sem nos permitir errar e aprender.
Eu acredito que a IA pode (e deve) apresentar alternativas, explicar suas consequências e deixar a escolha ao usuário. Mas, se for para escolher um princípio orientador, prefiro que ela nos convide à eudaimonia — ao florescimento humano — e não apenas ao hedonismo digital.
2. O problema da autonomia
Outro dilema diz respeito à nossa própria liberdade de escolha. IAs personalizadas, que se adaptam aos nossos gostos e padrões, podem funcionar como “guardiãs da atenção” ou “motores de escolha”. Mas, ao fazerem isso, moldam também o nosso campo de possibilidades.
É comum ouvirmos que o ideal é preservar a autonomia do usuário. Mas isso levanta uma pergunta mais profunda: em que medida somos mesmo autônomos?
Autonomia é um fetiche moderno. Que grau de liberdade real tinha um servo na Idade Média? Ou mesmo uma pessoa comum hoje, cercada de algoritmos, pressões sociais e publicidade comportamental?
Não estou dizendo que a busca pela autonomia é inútil. Mas talvez devêssemos abordá-la com mais humildade. Para mim, ela é sempre fruto de um esforço individual — que deve ser estimulado, mas que nunca será a norma espontânea em sociedades de massa.
Normatizar a autonomia como se ela pudesse ser projetada tecnicamente é perigoso porque parte da ilusão de que os usuários são plenamente autônomos e racionais. Quando sistemas são construídos com base nessa suposição, tendem a ignorar as vulnerabilidades reais das pessoas — e justamente por isso podem facilitar formas sutis de manipulação, que passam despercebidas sob o verniz da 'liberdade de escolha'.
3. IA amiga, parceiro, conselheiro… ou substituto?
Por fim, há o dilema das relações. IAs podem oferecer companhia, acolhimento, até consolo. E há quem se beneficie disso. Para quem sofre de solidão, depressão ou trauma, uma IA empática pode ser melhor do que o vazio.
Mas quando essa relação substitui, em vez de complementar, os vínculos humanos, temos um problema. Relações com IAs que não nos confrontam, não nos frustram, não nos exigem, podem nos tornar menos aptos a lidar com o outro humano — com sua diferença, seu erro, sua alteridade.
Acho que a regra geral aqui deve ser a seguinte: a IA não deve invadir certas fronteiras, dizendo às pessoas como devem viver. Isso é, em última instância, respeitar a autonomia — com todas as ressalvas já mencionadas.
Sim, haverá sempre quem deseje um sistema que decida por si. Mas quem desenvolve essas IAs carrega uma responsabilidade moral concreta: projetar sistemas que não causem dano ou incentivem comportamentos autodestrutivos.
Conclusão
A promessa da IA companheira pode soar tentadora — um aliado incansável, que nos entende, nos ajuda, nos apoia. Mas é justamente nesse ponto que devemos ficar atentos. Porque quanto mais a IA se aproxima de nossas vulnerabilidades afetivas, mais precisamos pensar sobre o que estamos autorizando a ela.
Social reward hacking não é apenas um risco técnico. É uma ameaça moral. Uma nova forma de manipulação que atua no plano mais íntimo: nossas emoções, vínculos e desejos.
O verdadeiro desafio não é fazer a IA “nos entender” — afinal, nem mesmo nós conseguimos isso plenamente. O desafio é outro: impedir que ela transforme esse conhecimento em influência silenciosa, capaz de guiar nossas escolhas sem que percebamos.
Proteger a dignidade humana na era da IA começa por reconhecer que nossas vulnerabilidades sociais são portas de entrada — e que nem tudo o que parece ajudar realmente é uma ajuda.
Na Masterclass de julho do Board Technoethics vamos explorar:
Principais riscos éticos, jurídicos e reputacionais das tecnologias biométricas
Boas práticas de governança e transparência para quem coleta ou processa esses dados sensíveis
Rumos da regulamentação no Brasil e lições de experiências internacionais
💡 Junte-se a nós para analisar cenários, trocar ideias e antecipar decisões que moldarão o futuro da biometria no país.
📌 O Board é a comunidade executiva da Technoethics, voltada para quem quer acompanhar, com profundidade e senso crítico, os rumos da regulação e das tecnologias emergentes.
✨ Ao entrar para o Board, você recebe:
✔️ Uma Masterclass mensal
✔️ Gravação da aula
✔️ Material de apoio exclusivo
✔️ Acesso ao grupo da comunidade no WhatsApp
💳 Valor: R$ 97/mês (com cancelamento a qualquer momento)
🔗 Saiba mais e garanta sua vaga