O que a Gestão de Riscos em outras indústrias pode ensinar à IA
Como técnicas consolidadas em finanças, cibersegurança e meio ambiente podem fortalecer a governança de sistemas de inteligência artificial
Os riscos que a IA traz são um elemento fundamental que justifica o estabelecimento de sua governança. Por isso, temos frameworks especificamente voltados para a gestão de riscos em IA, como o NIST e normas como o art. 9, do AI Act que torna obrigatório estabelecer um sistema de gestão de riscos para IAs de alto risco.
Recentemente, o artigo AI Risk Management Can Learn a Lot From Other Industries, de Malcolm Murray, chamou minha atenção. Ele faz um bom apanhado de como os riscos que a IA apresenta podem ser enfrentados com a ajuda de algumas técnicas já desenvolvidas para a gestão de risco em outras indústrias.
Dessa forma, embora a IA com certeza traga desafios novos e mais complexos, a roda não precisa ser completamente reinventada quando se fala em sua gestão de riscos. Há experiências importantes que podem ser aproveitadas.
No entanto, avaliar esses riscos individualmente é fundamental não apenas para que possamos compreender os impactos da tecnologia, mas também para nos permitir identificar em outras disciplinas como segurança cibernética, gestão de riscos empresariais, financeiros e ambientais técnicas que também são aplicáveis à IA.
O que distingue os riscos da IA
Segundo Murray, lidar com o risco da IA é mais difícil do que em outras áreas, devido às características particulares que ela tem. O risco da IA tem 4 características distintas não compartilhadas por nenhum outro campo na gestão de riscos.
Mas isso impediria que pudéssemos tirar lições destes outros setores e aproveitá-las para a IA? Se analisarmos cada um dos 4 elementos que caracterizam esse tipo risco, veremos que não.
Em primeiro lugar, o risco associado à IA evolui mais rapidamente do que a maioria dos outros riscos.1
“A cada poucos meses, surge um novo modelo que pode rapidamente tornar obsoletos os cálculos de risco anteriores. A evolução do progresso da IA como um todo também é imprevisível”.
Diante dessa característica da IA, precisamos buscar técnicas de gestão de risco em indústrias onde se tem um risco que também muda rapidamente. Um exemplo disso são os mercados financeiros, onde “uma organização pode perder milhões em segundos no pregão”.
Em segundo lugar, a maioria dos riscos associados à IA envolve a presença de um agente malicioso. Isso significa que alguns dos riscos mais relevantes vêm de pessoas mal-intencionadas usando modelos de forma indevida, ou de agentes de IA que apresentam comportamentos autônomos não alinhados aos objetivos humanos.
Essa característica dos riscos associados à IA também está presente nos riscos que a cibersegurança busca evitar. Assim, esta se transforma em um campo importante do qual a IA pode retirar lições.
Terceiro, o risco associado à IA é amplo. Os riscos da IA são multifacetados, variando desde a criação de imagens prejudiciais até o desenvolvimento de armas biológicas.
Isso provavelmente descarta a aplicação de técnicas de gestão de risco criadas para lidar com riscos relativamente simples como na indústria de mineração (máquinas com defeito, risco à segurança dos funcionários).
Nesse aspecto, as técnicas de Gestão de Riscos Corporativos (Enterprise Risk Management) têm muito mais a oferecer no contexto da IA, que pode se inspirar na ampla gama de riscos complexos que as empresas enfrentam: ameaças jurídicas, colapsos na cadeia de suprimentos, crises em gestão de pessoas etc.
Em quarto e último lugar, a IA representa um risco para a sociedade. Alguns de seus riscos mais importantes se manifestam na forma de externalidades negativas — impactos prejudiciais gerados por decisões ou ações cujos efeitos recaem sobre terceiros.
Murray exemplifica. “Se um terrorista usar um sistema de IA para desenvolver uma arma biológica, o prejuízo não recai sobre a organização que criou o sistema, mas sobre a sociedade como um todo”.
Para esse tipo de risco, não se pode usar técnicas de gerenciamento de risco desenvolvidas para proteger uma entidade específica – como uma pessoa ou uma empresa, por exemplo.
Por isso, a gestão de riscos ambientais, que frequentemente lida com externalidades negativas, deve servir de referência para a IA.
Técnicas de gestão de risco e sua aplicabilidade na IA
Depois de identificar as particularidades do risco de IA, Murray fornece alguns exemplos de como a gestão desse risco pode aproveitar técnicas de outras áreas.
Gestão de riscos financeiros
Em instituições financeiras, cada tipo de risco conta com uma pessoa responsável por acompanhar novas ameaças. Elas se reúnem regularmente em um comitê onde as ameaças emergentes são discutidas e diferentes ideias sobre como lidar com elas são compartilhadas.
O foco exclusivo desse comitê permite decisões rápidas, e sua visão integrada dos diferentes tipos de risco facilita a identificação de pontos de cooperação entre as áreas.
Esse modelo pode ser aplicado diretamente à IA. Atribuir responsáveis específicos para cada uma das áreas de risco (como segurança nacional, discriminação, malware, defesa, desemprego) — e exigir que eles se reúnam regularmente em um comitê — permitiria uma melhor coordenação, troca de práticas e uma resposta mais ágil às ameaças emergentes.
É interessante notar que os frameworks da ForHumanity, instituição a que pertenço, são inspirados justamente no modelo da gestão de riscos financeiros e propõem a criação de comitês como:
Comitê de Risco Algorítmico (Algorithmic Risk Committee),
Comitê de Ética (Ethics Committee),
Comitê de Supervisão de Dados de Crianças (Children’s Data Oversight Committee),
Comitê de Inclusão e Acessibilidade para Pessoas com Deficiência (Disability Inclusion and Accessibility Committe).
Cibersegurança
Em matéria de cibersegurança, frameworks como o FAIR dividem o risco em de um lado, a natureza e a capacidade do agente malicioso; e de outro, a natureza e a eficácia dos mecanismos de defesa da organização. Isso, afirma Murray, torna o risco muito mais fácil de medir e gerenciar.
Essa abordagem pode ser aplicada à IA, permitindo uma análise abrangente de todo o sistema: o modelo de IA, sua estrutura de suporte e ferramentas, os usuários, os controles e medidas de mitigação e as formas pelas quais a tecnologia pode gerar prejuízos.
Gestão de riscos corporativos
Uma das técnicas que podem ser muito úteis no campo da IA é o uso combinado de equipes de auditoria interna e externa. Segundo Murray, a auditoria interna é um grupo totalmente independente que faz parte da própria organização, enquanto as auditorias externas são realizadas por uma entidade separada.
Isso significa que há dois grupos independentes avaliando as práticas de gestão de riscos e os mecanismos de controle — o que aumenta a probabilidade de que falhas sejam identificadas a tempo.
Por ser composto por pessoas que fazem parte da própria organização, na prática, vejo como problemática a afirmação de total independência do grupo de auditoria interna tal como Murray traz. A total independência é muito mais um atributo das auditorias externas.
De todo modo, é importante notar que essas duas equipes têm habilidades complementares, “o que é particularmente importante no caso dos riscos relacionados à IA, dada sua amplitude e complexidade”.
Este artigo descreve como, em 2021, a Astra Zeneca realizou uma auditoria de IA em colaboração com uma terceira parte independente. É importante notar que toda uma indústria de auditoria externa para gestão de riscos em IA está em criação.
Avaliação de impacto ambiental
Nesse tipo de avaliação de impacto, a análise de risco é abrangente e multifacetada, incorporando diferentes tipos de dano (como à saúde, ao meio ambiente, à economia etc) e diferentes tipos de evidências, cada uma com pesos específicos.
Segundo Murray, os diversos tipos de danos associados aos riscos da IA — que, como já vimos têm uma amplitude muito extensa — se beneficiariam de uma análise ampla e integrada como a que se tem na avaliação de impacto ambiental.
Neste livro, fruto de anos de dedicação, exploro como a IA está transformando nossas vidas e o que isso significa para o futuro do trabalho, da ética, do direito e das relações sociais.
Se você é profissional da área jurídica, da tecnologia ou simplesmente interessado em compreender os impactos éticos e legais da IA, garanto que você vai gostar da leitura.
Você pode saber mais e garantir o seu exemplar pela Amazon:
Ou pelo site da Editora:
É o que mostra a rápida evolução dos modelos de IA. Em apenas 4 anos, passou-se do pouco conhecido GPT-2 para um modelo com performance muito melhor como o GPT-4. Para alguns estudiosos, em 2027, há uma chance considerável de que a AGI seja obtida. Veja os estudos aqui e aqui. Você não precisa acreditar nessa afirmação para concordar que, mesmo sem AGI, o avanço tem sido rápido e impressionante.