Explicando o AI Act: proibições, sistemas de alto risco e sistemas de propósito geral
Entendendo implicações e desafios do marco regulatório europeu para a inteligência artificial
Ontem, os representantes dos Estados-membros da União Europeia aprovaram por unanimidade o acordo político do AI ACT, anunciado em dezembro de 2023, e o texto final da tão esperada norma foi divulgado oficialmente. Esse texto ainda precisa ser votado pelo Parlamento europeu, o que deve ocorrer em abril, mas depois de um processo tão longo para se chegar ao acordo de dezembro e do anúncio da concordância de todos, parece certo que a votação será no sentido de aprovar o texto, ainda que haja alguma mudança pontual.
Em dezembro escrevi sobre o conteúdo do AI Act conforme o que se sabia naquele momento: as linhas gerais do acordo colocadas num comunicado de imprensa. Por isso, alertei que precisávamos ter cuidado na avaliação, pois ainda não tínhamos o texto integral.
Esse problema não existe mais e certamente todos aqueles que se interessam pelo tema vão passar muito tempo lendo, analisando e avaliando o extenso documento de 272 páginas, que conta com exposição de motivos, 85 artigos e vários anexos.
Por isso, embora muitas linhas ainda venham a ser escritas sobre o AI Act, é preciso começar a destrinchar alguns tópicos importantes que o texto traz. O acordo de dezembro girou em torno de alguns pontos que agora aparecem detalhados no texto integral divulgado ontem. Vamos a eles.
Aplicações de IA proibidas
O artigo 5o do projeto lista os sistemas de IA que não podem ser colocados no mercado. Dentre eles temos:
os que usam componentes subliminares ou outras técnicas manipuladoras ou enganosas que subvertem ou prejudicam a autonomia, a tomada de decisão ou as escolhas livres das pessoas;
os que exploram vulnerabilidades como idade, deficiência, situação social ou econômica;
aqueles destinados a detectar o estado emocional de indivíduos em situações relacionadas ao local de trabalho e educação, exceto por razões médicas ou de segurança;
o social score de pessoas naturais ou de grupos que levem a resultados discriminatórios, violando valores como igualdade e justiça;
sistemas de categorização biométrica que utilizam características sensíveis (por exemplo, crenças políticas, religiosas, filosóficas, orientação sexual, raça);
a identificação biométrica em tempo real é proibida, mas há exceções como na busca de uma pessoa condenada ou suspeita de ter cometido um crime grave (por exemplo, terrorismo, tráfico, exploração sexual, homicídio, sequestro, estupro). Ela fica fica sujeita a autorização judicial prévia e deve ser por período e localização limitados.
Comentários
Já existem muitas aplicações voltadas a detectar o estado emocional de trabalhadores e alunos, utilizando inclusive neurotecnologias para coletar dados que vão alimentar um sistema de IA. Soluções como essas ficariam proibidas na UE, a menos que possam ser enquadradas nas exceções.
Apesar da proibição geral dessa identificação biométrica, há muitas exceções em que ela passa a ser possível. A princípio, não parece haver problema, já que uma série de salvaguardas são colocadas para que ela aconteça. Mas na prática, o bom uso disso vai depender do comportamento das autoridades responsáveis por pedir a medida e por concedê-la. Do contrário, podemos ter situações abusivas.
Sistemas de IA de alto risco
As regras sobre sistemas de alto risco estão no Título III do projeto. Mas é no Anexo III do texto que encontramos quais são esses sistemas:
identificação biométrica remota e de categorização biométrica;
gerenciamento e operação de infraestruturas críticas, como estradas, fornecimento de água e energia;
usados para fins de admissão ou avaliação em instituições educacionais e para avaliação de trabalhadores no contexto de recrutamento ou monitoramento e avaliação no local de trabalho;
utilizados em serviços essenciais, sejam eles públicos ou privados;
utilizados pelas autoridades policiais;
usados para avaliação de risco ou confiabilidade em contextos de migração, asilo e controle de fronteiras;
usados para auxiliar autoridades judiciais;
utilizados para influenciar o resultado das eleições e o comportamento dos eleitores.
Comentários
Sistemas utilizados para medir a produtividade dos trabalhadores já existem e tendem a se espalhar por entregarem um monitoramento cuja precisão era antes inalcançável. Veja o caso dessa cafeteria que usa IA para medir a produtividade dos seus funcionários.
Acho que muitas pessoas — caso tenham acesso a essa informação — tendem a ficar incomodadas por se tratar de uma vigilância com traços distópicos que estavam restritos à ficção científica, mas que hoje é uma realidade.
O AI ACT não proíbe sistemas desse tipo, mas os classifica como de alto risco. É um assunto que certamente vai gerar polêmica. Por um lado, os empregados e suas instituições representativas vão protestar contra tecnologias desse tipo. Por outro, a lógica econômica torna seu uso muito tentador, na medida em que ela traz um potencial de aumento da eficiência e da produtividade.
O AI Act, assim como o TSE no Brasil, não proibiu a utilização de sistemas de IA para “influenciar o resultado das eleições e o comportamento dos eleitores”, ou seja, seu uso em propagandas políticas é possível, mas se enquadra nos sistemas de alto risco.
As obrigações para os sistemas de alto risco
Esses sistemas têm que respeitar uma lista extensa de exigências que vão do art. 8o ao art. 29a.
Em destaque, temos o sistema de gerenciamento de risco (risk management system) que, de acordo com o art. 9o, deve ser estabelecido, implementado, documentado e mantido para sistemas de IA de alto risco.
Essa gestão é um processo iterativo e contínuo que envolve:
identificação e análise de riscos conhecidos e razoavelmente previsíveis que o sistema de IA pode representar para a saúde, segurança ou direitos fundamentais;
estimativa e avaliação de riscos que podem surgir quando o sistema é usado conforme seu propósito pretendido;
avaliação de outros riscos possíveis com base na análise de dados coletados do sistema de monitoramento pós-mercado;
adoção de medidas adequadas e específicas para lidar com os riscos identificados, visando sua eliminação, bem como a implementação de medidas de mitigação e controle para riscos que não podem ser eliminados.
Vários outros requisitos para os sistemas de alto risco são encontrados no texto, como:
governança de dados;
manutenção de documentação técnica e dos registros automáticos gerados pelo sistema (logs);
transparência e fornecimento adequado de informações aos utilizadores;
supervisão humana, garantindo que as pessoas encarregadas dela tenham a competência, treinamento e autoridade necessários;
soluções técnicas para garantir a segurança cibernética dos sistemas;
manter um sistema de gestão de qualidade.
Comentários
Percebe-se que as exigências do AI Act para os sistemas de alto risco vão tornar necessário o estabelecimento de um compliance robusto. Por isso, a entrada em vigor de uma norma assim vai fomentar a criação de todo um setor de serviços especializados, voltados para estabelecer nas organizações a conformidade com os requisitos legais.
As medidas vistas aqui, ainda que justificadas, certamente representam um aumento de despesa para as organizações, o que costuma preocupar a todos, mas especialmente as micro e pequenas empresas, incluindo as Startups. Por isso, o próprio AI Act deixa abertura para normas complementares que estabeleçam obrigações simplificadas para empresas desse tipo, como se vê no art. 55a.
Sistemas de IA de propósito geral
Sistemas desse tipo têm uma ampla gama de usos possíveis, tanto intencionais quanto não pretendidos pelos desenvolvedores e podem ser utilizados diretamente pelos usuários ou integrados em outros sistemas. Aqui se enquadram os grandes modelos de linguagem (large language models) que se popularizaram a partir de novembro de 2022 com o GPT-3.5.
Esses sistemas ficam obrigados a observar requisitos de transparência, a elaborar documentação técnica, a cumprir a legislação da UE em matéria de direitos de autor e a divulgar resumos detalhados sobre o conteúdo utilizado no treinamento.
Mas o AI Act cria a subcategoria de sistemas de IA de propósito geral com risco sistêmico, definido pelo art. 3o, (44d), como
“um risco específico das capacidades de elevado impacto dos modelos de IA de propósito geral, com um impacto significativo no mercado interno devido ao seu alcance e com efeitos negativos reais ou razoavelmente previsíveis na saúde pública; segurança pública, direitos fundamentais ou a sociedade como um todo, que podem ser propagados em escala ao longo da cadeia de valor”.
O art. 52a do AI Act estabelece os critérios para que um modelo de propósito geral seja enquadrado na categoria de risco sistêmico: (i) capacidades de alto impacto, avaliadas com base em ferramentas e metodologias técnicas apropriadas, incluindo indicadores e benchmarks; (ii) decisão da Comissão Europeia ex officio ou seguindo um alerta científico qualificado de que um modelo tem capacidades de alto impacto; (iii) quando o uso de recursos computacionais no treinamento de um modelo for maior que 10^25 floating point operations (FLOPs), presume-se que ele apresenta de risco sistêmico.
Para sistemas desse tipo, além dos requisitos válidos para sistemas de propósito geral simples, teremos obrigações adicionais previstas no art. 52d, como:
realizar testes adversariais;
acompanhar, documentar e comunicar sem demora injustificada ao AI Office da UE e, se for caso, às autoridades nacionais competentes, informações relevantes sobre incidentes graves e possíveis medidas corretivas para os resolver;
garantir um nível adequado de cibersegurança correspondente ao tipo de modelo.
Comentários
Temos que lembrar que a ampla maioria das ferramentas de IA utilizadas pelos usuários europeus não são europeias, mas sim de empresas dos EUA. Existe, portanto, uma tensão política clara aqui. Isso explica o poder que a lei dá para a Comissão europeia, de ofício, enquadrar um LLM na categoria de risco sistêmico.
Considerando os critérios do art. 52a, é bem provável que os sistemas de IA mais conhecidos como ChatGPT e Bard sejam considerados como de risco sistêmico.
Considerações finais
Depois de aprovado no Parlamento europeu, o AI Act vai passar por um período de vacatio legis antes de entrar em vigor. Para algumas partes da lei, esse período será 6 meses, para outras de 12, podendo chegar até a 36 meses, conforme estabelece o art. 85.
Até que sejam publicadas padronizações da UE, IA’s de propósito geral de risco sistémico ou não podem basear-se em códigos de conduta ou de boas práticas para estar de acordo com a regulação.
É claro que não basta a legislação, é preciso construir toda uma estrutura capaz de assegurar seu cumprimento por meio de fiscalização e sanções. Isso é um desafio para a UE, na verdade, para qualquer país. Sem os órgãos de fiscalização e controle a lei não tem como prosperar. Esse será o passo seguinte ao AI Act.
Mas ainda que essa necessária estrutura seja estabelecida, é preciso compreender que a regulação é um passo crucial, mas não dará conta de todas as questões que os sistemas de IA trarão. Por isso, ela está ligada ao esforço, igualmente importante, de governança a ser implementado em cada organização. A governança reforça a regulação, ao mesmo tempo em que protege das consequências dela, por exemplo, estabelecendo salvaguardas para que não se corra o risco de ficar sujeito às sanções que a lei estabelece.
[NOVA TURMA] WORKSHOP FRAMEWORKS DE GOVERNANÇA DE IA
Dias 20 e 21/02/2024 (3ª e 4ª feira), das 19h30 às 21h30, André Gualtieri e Nuria López vão estar online e ao vivo em um workshop exclusivo que vai apresentar quatro dos principais Frameworks de IA do mercado (UE, ICO, NIST e OCDE).
Serão dois dias de muito conteúdo aprofundado e prático sobre como esses Frameworks podem ajudar você a construir a Governança de IA na sua empresa.
As vagas são limitadas, então clique aqui para se inscrever já.