Lei de IA da Califórnia: um modelo para a regulação da Inteligência Artificial?
Como o Safe and Secure Innovation Act pode moldar o futuro da governança de inteligência artificial e influenciar o debate jurídico brasileiro
Safe and Secure Innovation for Frontier Artificial Intelligence Models Act é o extenso e um tanto quanto pomposo nome dado a um controverso projeto de lei que está nos trâmites finais no legislativo da Califórnia: falta apenas o Senado concordar com as emendas da Câmara. Em seguida, caberá ao Governador sancioná-lo ou vetá-lo.
Se o projeto se transformar em lei, teremos uma norma cujo impacto estará, pelo menos, no mesmo nível do AI Act, tendo em vista que é na Califórnia que se encontra a sede das empresas que lideram a pesquisa e o desenvolvimento de IA no mundo, como OpenAI, Google, Meta e Anthropic.
Neste artigo quero trazer uma visão geral sobre as regras que essa lei estabelece. Conhecer a abordagem californiana sobre segurança e responsabilização para modelos de IA e entender suas diferenças em relação ao AI Act certamente será importante para o debate brasileiro sobre a regulação da tecnologia que se faz no presente momento.
O Act de IA da Califórnia objetiva evitar a concretização de prejuízos graves (critical harms) decorrentes do desenvolvimento e uso de modelos de IA. Em primeiro lugar, ele trata de perigos que já são reais, como condutas de modelos de IA que resultem em morte, lesão corporal grave, dano à propriedade, perda de propriedade ou grandes prejuízos financeiros.
Mas o projeto também busca evitar que desenvolvimentos futuros da inteligência artificial sejam usados, por exemplo, para criar armas biológicas, químicas ou nucleares e realizar ciberataques em infraestruturas críticas. Eventos desse tipo podem levar a mortes em massa.
Riscos desse tipo não podem, por enquanto, materializar-se por falta de desenvolvimento da própria tecnologia. Há inclusive muitos debates na literatura especializada sobre serem ou não perigos reais e sobre a conveniência de regular isso agora. Mas não há dúvidas de que caso aconteçam coisas como bioterrorismo e ataques nucleares a existência de milhões de pessoas, e no limite de toda a humanidade, fica ameaçada. Talvez por isso o Act californiano tenha optado por já tratar desses riscos futuros.
Mas vamos apresentar os pontos fundamentais do Senate Bill (SB) 1047, o Safe and Secure Innovation for Frontier Artificial Intelligence Models Act.
Que modelos estão sujeitos à lei?
Os modelos sujeitos à lei (covered models) são definidos da seguinte forma.
Antes de 1º de janeiro de 2027:
Qualquer modelo de IA que tenha sido treinado utilizando uma quantidade de poder computacional maior que 10^26 FLOPS (floating-point operations per second), cujo custo de treinamento exceda 100 milhões de dólares.
Qualquer modelo de IA ajustado (fine-tuned) a partir de um covered model, utilizando uma quantidade de poder computacional igual ou superior a 3×10^25 FLOPS, cujo custo exceda 10 milhões de dólares.
Depois de 1º de janeiro de 2027:
O conceito de "modelo coberto" será atualizado pela Government Operations Agency, considerando os desenvolvimentos tecnológicos e as normas de segurança.
Um modelo de IA será considerado "coberto" se for treinado utilizando uma quantidade de poder computacional acima do que determinar a Government Operations Agency e se o custo de treinamento exceder 100 milhões de dólares.
Um modelo ajustado (fine-tuned) será considerado "coberto" se utilizar uma quantidade de poder computacional que exceda o limite a ser determinado pela Agência, e o custo de ajuste fino exceder 10 milhões de dólares.
A lei também se aplica ao derivado de modelo coberto (covered model derivative), que pode ser:
cópia não modificada de um modelo coberto;
cópia com modificações pós-treinamento que não estão relacionadas ao ajuste fino (fine-tuning);
cópia ajustada (fine-tuned) de um modelo coberto;
cópia combinada com outro software.
Para esses modelos também valem os limites de FLOPS e de custo. Por exemplo, cópias que passaram por ajuste fino utilizando menos de 3x10^25 operações computacionais, cujo custo seja superior a 10 milhões de dólares, estão dentro do escopo de regulação até 1º de janeiro de 2027. Depois disso, também poderá haver uma atualização dos limites conforme o que entender a Government Operations Agency.
Por fim, a título de comparação, note que o AI Act estabeleceu que os modelos com poder computacional total de mais de 10^25 FLOPs são considerados como apresentando riscos sistêmicos, ao passo que a lei da Califórnia optou pelo marco de 10^26 FLOPS.
A OpenAI, por exemplo, não divulga publicamente a quantidade exata de FLOPS utilizada para treinar o GPT-4. Mas avaliações encontradas na Internet estimam que a capacidade do GPT-4 seja de 2.1 x 10^25, o que supera o limite estabelecido pela regulação europeia, mas não superaria o marco definido pela lei californiana.
Protocolo de segurança
O SB 1047 estabelece que devem ser elaborados protocolos técnicos e organizacionais para os modelos de IA, a fim de gerenciar os riscos de desenvolvimento e operação ao longo de seu ciclo de vida. A conformidade com esses protocolos é obrigatória para treinar, operar, possuir e fornecer acesso externo aos modelos do desenvolvedor.
Com isso surgem uma série de obrigações antes de iniciar o treinamento de um modelo coberto pela regulação.
Proteções de cibersegurança, técnicas e físicas para prevenir o acesso não autorizado, o uso indevido ou modificações pós-treinamento indevidas.
Implementar a capacidade de realizar rapidamente uma interrupção completa (full shutdown) do modelo.
Especificar salvaguardas e procedimentos que, se implementados com sucesso, garantiriam o cumprimento da obrigação do desenvolvedor de agir com cuidado razoável para evitar produzir um modelo ou um derivado que represente um risco não razoável de causar ou permitir materialmente um dano crítico.
Descrever detalhadamente como o desenvolvedor pretende implementar as salvaguardas e requisitos estabelecidos na lei.
Designar pessoal sênior responsável por garantir a conformidade de funcionários e contratados, monitorando e relatando a implementação dos protocolos.
Manter uma cópia não editada do protocolo de segurança enquanto o modelo coberto estiver disponível para uso comercial, público ou previsivelmente público, acrescido de cinco anos, incluindo registros e datas de quaisquer atualizações ou revisões.
Antes do modelo coberto ou do derivado serem colocados para uso comercial ou público o desenvolvedor deverá realizar o seguinte.
Avaliar se o modelo coberto é razoavelmente capaz de causar ou possibilitar materialmente um dano crítico.
Registrar, quando for razoavelmente possível, e manter, por pelo menos 5 anos, enquanto o modelo coberto estiver disponível publicamente as informações sobre os testes específicos e os resultados dos testes usados na avaliação mencionada acima, com detalhes suficientes para que terceiros possam replicar o procedimento de teste.
Tomar cuidados razoáveis para implementar salvaguardas adequadas a fim de prevenir que o modelo coberto e os derivados causem ou possibilitem materialmente um dano crítico.
Tomar cuidados razoáveis para garantir, na medida do possível, que as ações do modelo coberto e dos derivados, bem como os danos críticos resultantes dessas ações, possam ser atribuídos a eles de forma precisa e confiável.
Um desenvolvedor não deve colocar um modelo coberto ou derivado para uso comercial ou público se houver um risco não razoável de que eles causem ou possibilitem materialmente um dano crítico.
Por fim, quem operar um cluster de computação (definido pela lei como um conjunto de máquinas conectadas por meio de uma rede de data center com capacidade superior a 100 gigabits por segundo e que possui uma capacidade computacional de pelo menos 10^20 FLOPS) deve implementar políticas e procedimentos por escrito prevendo ações para quando um cliente utilizar recursos de computação suficientes para treinar um modelo coberto, incluindo avaliar se um cliente em potencial pretende utilizar o cluster de computação para treinar esse modelo.
Auditoria
A partir de 1º de janeiro de 2026, desenvolvedores de modelos cobertos deverão, anualmente, contratar um auditor independente que conduza seu trabalho de acordo com as melhores práticas, a fim de realizar uma auditoria de conformidade com os requisitos elencados acima.
O auditor deverá produzir um relatório de auditoria incluindo o seguinte.
Uma avaliação detalhada das medidas tomadas pelo desenvolvedor para cumprir os requisitos da lei.
Qualquer elemento de não conformidade com os requisitos da lei que tenha sido identificado e quaisquer recomendações para que o desenvolvedor possa melhorar suas políticas e processos para garantir a conformidade.
Uma avaliação detalhada dos controles internos do desenvolvedor, incluindo a designação e o empoderamento de pessoal sênior responsável por garantir a conformidade do desenvolvedor, seus funcionários e seus contratados.
Uma cópia não editada do relatório de auditoria deverá ser mantida pelo desenvolvedor enquanto o modelo coberto estiver disponível para uso comercial ou público, por pelo menos cinco anos. Uma cópia editada desse relatório deverá ser publicada de forma destacada pelo desenvolvedor, que deve também enviá-la ao Procurador-Geral.
Essa edição no relatório só poderá ser feita se for razoavelmente necessária para proteger a segurança pública, segredos comerciais e informações confidenciais.
Declaração de Conformidade
O desenvolvedor de um modelo coberto ou derivado deverá, anualmente, submeter ao Procurador-Geral uma declaração de conformidade assinada pelo Chief Technology Officer ou por um executivo sênior da organização, que atenda aos seguintes requisitos.
Uma avaliação da natureza e magnitude dos danos críticos que os modelos podem razoavelmente causar ou materialmente possibilitar.
Uma avaliação do risco de que a conformidade com o protocolo de segurança e proteção seja insuficiente para evitar que os modelos causem ou possibilitem materialmente danos críticos.
Uma descrição do processo utilizado pelo executivo signatário da declaração para verificar a conformidade, incluindo uma descrição dos materiais revisados, uma descrição dos testes ou outras avaliações realizadas para apoiar a declaração e as informações de contato de quaisquer terceiros em quem se baseou para validar a conformidade.
Incidente de segurança
Um desenvolvedor de um modelo coberto ou derivado deverá comunicar seus incidentes de segurança de inteligência artificial ao Procurador-Geral dentro de 72 horas após tomar conhecimento do incidente ou dentro de 72 horas após o desenvolvedor tomar conhecimento de fatos suficientes para estabelecer uma crença razoável de que ocorreu um incidente de segurança.
Para realizar essa comunicação o desenvolvedor deverá considerar as melhores práticas da indústria e as orientações aplicáveis do Instituto de Segurança de Inteligência Artificial dos EUA, do Instituto Nacional de Padrões e Tecnologia (NIST), da Agência de Operações Governamentais e de outras organizações respeitáveis de definição de normas de padronização.
Medidas Judiciais
O projeto de lei autoriza o Procurador-Geral a mover ações civis, como no caso de morte ou dano corporal a outro ser humano, dano à propriedade, roubo ou apropriação indevida de propriedade, ou que constitua um risco iminente ou ameaça à segurança pública ocorrida em ou após 1º de janeiro de 2026.
O valor da penalidade decorrente de ações desse tipo não deve exceder 10% do custo da quantidade de poder computacional utilizada para treinar o modelo coberto. Para violações subsequentes, a penalidade não deve exceder 30% do valor da primeira.
O Procurador-Geral também pode requerer medidas cautelares ou declaratórias, indenizações e qualquer outra medida que o tribunal considerar apropriado.
Conselho de Modelos de Fronteira e Cluster Público de Computação
O projeto prevê a criação do Conselho de Modelos de Fronteira (Board of Frontier Models) dentro da Agência de Operações Governamentais. Essa Agência deve, até 1º de janeiro de 2027, e anualmente depois disso, emitir regulamentos para, entre outras coisas, atualizar a definição de "modelo coberto". Esses regulamentos devem ser aprovados pelo Conselho antes de entrarem em vigor.
Por fim, o projeto de lei estabelece um consórcio responsável por desenvolver um framework para a criação de um cluster público de computação em nuvem a ser conhecido como CalCompute, que promova o desenvolvimento e a implementação de inteligência artificial que seja segura, ética, equitativa e sustentável, fomentando, entre outras coisas, a pesquisa e a inovação que beneficiem o público.
Conclusão
A diferença de tamanho entre o AI Act, com mais de 100 artigos e, incluindo os considerandos e os anexos, mais de 400 páginas, e a lei da Califórnia, com pouco mais de 20 páginas é brutal.
A norma californiana foca na questão da segurança dos modelos e, para isso, estabelece uma série de procedimentos que devem ser realizados e que certamente representam um custo. Mas comparada ao AI Act e, também podemos dizer, ao PL 2.338/23 inspirado nele, o SB 1047 parece trazer um conjunto de obrigações menos onerosas para a indústria de IA.
A lógica das legislações também é diferente. A norma europeia e o projeto brasileiro têm uma preocupação considerável em listar os direitos dos usuários e as obrigações para protegê-los. O Act californiano não apresenta uma lista desses direitos, mas estabelece obrigações que visam proteger a segurança e os direitos dos usuários previstos em outras normas, dando ao Procurador-Geral a competência de propor demandas a fim de protegê-los.
Considerando Europa, Brasil e EUA, temos duas tradições jurídicas diferentes, o civil law e a common law, e três contextos econômicos, sociais e políticos diversos. Avaliar que elementos desses diferentes modelos de regular a IA seriam mais adequados para a realidade brasileira e nossos propósitos em relação à tecnologia é uma tarefa importante nesse momento em que discutimos a regulação de IA no país.
Acabou de sair do forno meu novo livro "Entre Promessas e Riscos: Ensaios sobre Ética, Direito e Inteligência Artificial"!
Neste livro, fruto de anos de dedicação, exploro como a IA está transformando nossas vidas e o que isso significa para o futuro do trabalho, da ética, do direito e das relações sociais.
Se você é profissional da área jurídica, da tecnologia ou simplesmente interessado em compreender os impactos éticos e legais da IA, garanto que você vai gostar da leitura.
Você pode saber mais e garantir o seu exemplar pela Amazon:
Ou pelo site da Editora: