O Safe and Secure Innovation for Frontier Artificial Intelligence Models Act, ou SB 1047, é um projeto de lei da Califórnia de 2024 destinado a "mitigar o risco de danos catastróficos de modelos de IA tão avançados que ainda não são conhecidos". Especificamente, o projeto de lei se aplicaria a modelos que custam mais de US$ 100 milhões para serem treinados e foram treinados usando uma quantidade de poder computacional superior a 1026 operações inteiras ou de ponto flutuante. O SB 1047 se aplicaria a todas as empresas de IA que fazem negócios na Califórnia—não importa a localização da empresa. O projeto de lei cria proteções para denunciantes e exige que os desenvolvedores realizem avaliações de risco de seus modelos antes do lançamento, sob a supervisão da Agência de Operações Governamentais da Califórnia. Ele também estabeleceria o CalCompute, um cluster público de computação em nuvem da Universidade da Califórnia para startups, pesquisadores e grupos comunitários.

Contexto O rápido aumento nas capacidades dos sistemas de IA na década de 2020, incluindo o lançamento do ChatGPT em novembro de 2022, levou alguns pesquisadores e membros do público a expressarem preocupação com os riscos existenciais associados a sistemas de IA cada vez mais poderosos. A plausibilidade dessa ameaça é amplamente debatida. A regulamentação da IA também é às vezes defendida para evitar viés e violações de privacidade. No entanto, foi criticada por possivelmente levar à captura regulatória por grandes empresas de IA como a OpenAI, em que a regulamentação avança os interesses de empresas maiores em detrimento da concorrência menor e do público em geral.

Em maio de 2023, centenas de executivos de tecnologia e pesquisadores de IA assinaram uma declaração sobre o risco de extinção da IA, que dizia "Mitigar o risco de extinção pela IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear." Ela recebeu assinaturas dos dois pesquisadores de IA mais citados, Geoffrey Hinton e Yoshua Bengio, junto com figuras da indústria como o CEO da OpenAI Sam Altman, o CEO da Google DeepMind Demis Hassabis e o CEO da Anthropic Dario Amodei. Muitos outros especialistas achavam que as preocupações existenciais eram exageradas e irreais, além de uma distração dos danos imediatos da IA, como a tomada de decisões automatizada discriminatória. Famosamente, Sam Altman pediu fortemente regulamentação da IA ao Congresso na mesma época. Várias empresas de tecnologia fizeram compromissos voluntários para realizar testes de segurança, por exemplo, no AI Safety Summit e no AI Seoul Summit.

O Governador Newsom da Califórnia e o Presidente Biden emitiram ordens executivas sobre inteligência artificial em 2023. O Senador Estadual Wiener disse que o SB 1047 se baseia fortemente na ordem executiva de Biden, e é motivado pela ausência de uma legislação federal unificada sobre segurança de IA. A Califórnia já legislou anteriormente sobre questões tecnológicas, incluindo privacidade do consumidor e a neutralidade de rede, na ausência de ação pelo Congresso.

História O projeto de lei foi originalmente redigido por Dan Hendrycks, cofundador do Center for AI Safety, que anteriormente argumentou que as pressões evolutivas sobre a IA poderiam levar a "um caminho em direção a sermos substituídos como a espécie dominante na Terra." O centro emitiu uma declaração em maio de 2023 co-assinada por Elon Musk e centenas de outros líderes empresariais afirmando que "Mitigar o risco de extinção pela IA deve ser uma prioridade global ao lado de outros riscos em escala social, como pandemias e guerra nuclear."

O Senador Estadual Wiener propôs pela primeira vez uma legislação de IA para a Califórnia por meio de um projeto de intenção chamado SB 294, a Lei de Segurança em Inteligência Artificial, em setembro de 2023. O SB 1047 foi introduzido por Wiener em 7 de fevereiro de 2024.

Em 21 de maio, o SB 1047 foi aprovado no Senado por 32-1. O projeto de lei foi significativamente emendado por Wiener em 15 de agosto de 2024 em resposta ao aconselhamento da indústria. As emendas incluíram a adição de esclarecimentos e a remoção da criação de uma "Divisão de Modelos de Fronteira" e da penalidade de perjúrio.

Em 28 de agosto, o projeto foi aprovado na Assembleia Estadual por 48-16. Em seguida, devido às emendas, o projeto foi novamente votado pelo Senado, sendo aprovado por 30-9.

Em 29 de setembro, o Governador Gavin Newsom vetou o projeto de lei. É considerado improvável que a legislatura derrube o veto do governador com um voto de dois terços de ambas as casas.

Provisões

Antes do treinamento do modelo, os desenvolvedores dos modelos cobertos e seus derivados são obrigados a apresentar uma certificação, sujeita a auditoria, de mitigação de risco "razoável" de "danos críticos" do modelo coberto e seus derivados, incluindo modificações pós-treinamento. Salvaguardas para reduzir o risco incluem a capacidade de desligar o modelo, que foi descrita de várias maneiras como um "botão de desligar" e um "disjuntor". As disposições de denúncia protegem os funcionários que relatam problemas de segurança e incidentes.

O SB 1047 também criaria um cluster público de computação em nuvem chamado CalCompute, associado à Universidade da Califórnia, para apoiar startups, pesquisadores e grupos comunitários que carecem de grandes recursos de computação.

Modelos cobertos O SB 1047 cobre modelos de IA com treinamento computacional superior a 1026 operações inteiras ou de ponto flutuante e um custo superior a US$ 100 milhões. Se um modelo coberto for ajustado usando mais de US$ 10 milhões, o modelo resultante também é coberto.

Danos críticos Danos críticos são definidos em relação a quatro categorias: Criação ou uso de uma arma química, agente biológico, guerra radiológica ou arma nuclear Ciberataques à infraestrutura crítica causando baixas em massa ou pelo menos US$ 500 milhões de danos Crimes autônomos causando baixas em massa ou pelo menos US$ 500 milhões de danos Outros danos de gravidade comparável

Conformidade e supervisão O SB 1047 exigiria que os desenvolvedores, a partir de 1º de janeiro de 2026, contratassem anualmente um auditor terceirizado para realizar uma auditoria independente de conformidade com os requisitos do projeto de lei, conforme estabelecido. A Agência de Operações Governamentais da Califórnia revisaria os resultados dos testes de segurança e incidentes, e emitiria orientações, padrões e melhores práticas. O projeto de lei cria um Conselho de Modelos de Fronteira para supervisionar a aplicação do projeto pela Agência de Operações Governamentais. Ele é composto por 9 membros.

Recepção

Debate Os defensores do projeto descrevem suas disposições como simples e focadas de maneira restrita, com o Sen. Scott Weiner descrevendo-o como um "projeto de lei básico e de toque leve sobre segurança". Isso foi contestado pelos críticos do projeto, que descrevem a linguagem do projeto como vaga e o criticam por consolidar poder nas maiores empresas de IA em detrimento das menores. Os defensores responderam que o projeto se aplica apenas a modelos treinados com mais de 1026 FLOPS e com mais de US$ 100 milhões, ou ajustados com mais de US$ 10 milhões, e que o limite poderia ser aumentado, se necessário.

A penalidade por perjúrio foi tema de debate e acabou sendo removida por meio de uma emenda. O escopo do requisito de "botão de desligar" também foi reduzido, após preocupações de desenvolvedores de código aberto. Houve também controvérsia sobre o uso do termo "garantia razoável", que foi substituído após a emenda por "cuidado razoável". Críticos argumentaram que o padrão de "cuidado razoável" impõe um fardo excessivo ao exigir confiança de que os modelos não poderiam ser usados para causar danos catastróficos, enquanto os defensores argumentaram que o padrão de "cuidado razoável" não implica certeza e é um padrão legal bem estabelecido que já se aplica aos desenvolvedores de IA sob a legislação existente.

Apoio e oposição Os apoiadores do projeto incluem os ganhadores do Prêmio Turing Yoshua Bengio e Geoffrey Hinton, Elon Musk, Bill de Blasio, Kevin Esvelt, Dan Hendrycks, Vitalik Buterin, os denunciantes da OpenAI Daniel Kokotajlo e William Saunders, Lawrence Lessig, Sneha Revanur, Stuart Russell, Jan Leike, atores Mark Ruffalo, Sean Astin e Rosie Perez, Scott Aaronson, e Max Tegmark. O Center for AI Safety, o Projeto de Segurança Econômica da Califórnia e a Encode Justice são patrocinadores. Yoshua Bengio escreve que o projeto é um grande passo em direção a medidas de teste e segurança para "sistemas de IA além de um certo nível de capacidade [que] podem representar riscos significativos para as democracias e a segurança pública." Max Tegmark comparou o foco do projeto em responsabilizar as empresas pelos danos causados por seus modelos à exigência do FDA de testes clínicos antes de uma empresa poder lançar um medicamento no mercado. Ele também argumentou que a oposição ao projeto por algumas empresas é "tirada diretamente do manual do Big Tech." O conselho editorial do Los Angeles Times também escreveu em apoio ao projeto. O sindicato SAG-AFTRA e dois grupos de mulheres, a Organização Nacional para Mulheres e o Fund Her, enviaram cartas de apoio ao Governador Newsom. Mais de 120 celebridades de Hollywood, incluindo Mark Hamill, Jane Fonda e J. J. Abrams, assinaram uma declaração em apoio ao projeto.

Andrew Ng, Fei-Fei Li, Ion Stoica, Jeremy Howard, o ganhador do Prêmio Turing Yann LeCun, junto com os congressistas dos EUA Nancy Pelosi, Zoe Lofgren, Anna Eshoo, Ro Khanna, Scott Peters, Tony Cárdenas, Ami Bera, Nanette Barragán e Lou Correa se manifestaram contra a legislação. Andrew Ng argumenta especificamente que existem abordagens regulatórias mais direcionadas e eficazes, como direcionar a pornografia deepfake, marcar materiais gerados e investir em red teaming e outras medidas de segurança. Pesquisadores da Universidade da Califórnia e do Caltech também escreveram cartas abertas contra o projeto.

Indústria O projeto de lei é contestado por associações comerciais da indústria, incluindo a California Chamber of Commerce, a Chamber of Progress, a Computer & Communications Industry Association e a TechNet. Empresas como a Meta e a OpenAI são contra ou levantaram preocupações sobre o projeto, enquanto Google, Microsoft e Anthropic propuseram emendas substanciais. Vários fundadores de startups e organizações de capital de risco são contra o projeto, por exemplo, Y Combinator, Andreessen Horowitz, Context Fund e Alliance for the Future.

Após o projeto ser emendado, o CEO da Anthropic Dario Amodei escreveu que "o novo SB 1047 está substancialmente melhorado, a ponto de acreditarmos que seus benefícios provavelmente superam seus custos. No entanto, não temos certeza disso, e ainda há alguns aspectos do projeto que nos parecem preocupantes ou ambíguos." Amodei também comentou: "Havia algumas empresas falando sobre mudar suas operações para fora da Califórnia. Na verdade, o projeto se aplica a fazer negócios na Califórnia ou implantar modelos na Califórnia... Qualquer coisa sobre 'Ah, estamos mudando nossa sede para fora da Califórnia...' Isso é apenas teatro. Isso é apenas uma alavanca de negociação. Não tem relação com o conteúdo real do projeto." O CEO da xAI Elon Musk escreveu: "Acho que a Califórnia provavelmente deveria aprovar o projeto de lei de segurança de IA SB 1047. Por mais de 20 anos, tenho sido um defensor da regulamentação de IA, assim como regulamentamos qualquer produto/tecnologia que seja um risco potencial para o público."

Em 9 de setembro de 2024, pelo menos 113 funcionários atuais e ex-funcionários de empresas de IA, como OpenAI, Google DeepMind, Anthropic, Meta e xAI, assinaram uma carta ao Governador Newsom em apoio ao SB 1047.

Desenvolvedores de código aberto