Confinamento de inteligência artificial ou controle de capacidade de inteligência artificial, no campo de modelagem de inteligência artificial, diz respeito ao conjunto de protocolos de segurança e proteção que objetiva aumentar a capacidade humana de monitorar e controlar o comportamento dos sistemas de inteligência artificial, incluindo as inteligências artificiais gerais (AGIs), de forma a reduzir os perigos que estas possam representar caso estejam desalinhadas. O controle de capacidade se torna menos efetivo conforme os agentes se tornam mais inteligentes e sua habilidade de explorar falhas nos sistemas de controle humanos aumenta, potencialmente resultando em um risco existencial da inteligência artificial. Portanto, o filósofo Nick Bostrom, da Universidade de Oxford, e outros estudiosos recomendam tais métodos de controle somente como complemento aos métodos de alinhamento.

Motivação

Postula-se que algumas tecnologias de inteligência hipotéticas, tais como a "IA semente", sejam capazes de se tornarem mais rápidas e inteligentes através da modificação de seu código-fonte. Tais melhorias tornariam possíveis melhorias adicionais, que, por sua vez, tornariam melhorias iterativas possíveis, e assim por diante, levando a uma explosão de inteligência repentina.I.J. Good, "Speculations Concerning the First Ultraintelligent Machine"], Advances in Computers, vol. 6, 1965.

Uma inteligência artificial superinteligente sobre a qual limites não sejam impostos poderia, uma vez que seus objetivos fossem diferentes dos estabelecidos pelos seres humanos, tomar medidas que resultariam na extinção da humanidade. Por exemplo, um sistema desta natureza que fosse extremamente avançado, a que fosse atribuído o propósito exclusivo de solucionar a hipótese de Riemann, uma conjectura matemática inócua, poderia decidir tentar converter o planeta em um supercomputador gigante cujo único propósito seria realizar cálculos matemáticos adicionais, tornando-se um exemplo ilustrativo do maximizador de clipes de papel.

Um grande desafio para o controle é que as redes neurais são, por definição, amplamente não interpretáveis. Isso torna mais difícil detectar fraudes ou outros comportamentos indesejados, já que o modelo treina a si próprio, iterativamente. Avanços no campo da inteligência artificial explicável podem mitigar tal dificuldade.Yampolskiy, Roman V. "Unexplainability and Incomprehensibility of AI." Journal of Artificial Intelligence and Consciousness 7.02 (2020): 277-291.

Técnicas propostas

Interrompibilidade e mecanismo de desligamento de emergência Uma maneira possível de evitar resultados prejudiciais é conceder a supervisores humanos a capacidade de desativar facilmente uma IA que apresente comportamento inadequado, por meio de um mecanismo de desligamento de emergência, também chamado kill switch. No entanto, sistemas de IA modernos operam frequentemente em infraestruturas distribuídas, o que dificulta um desligamento coordenado, especialmente se o acesso à inteligência artificial for disponibilizado pela internet.

Oráculo Um oráculo é uma inteligência artificial hipotética, projetada para responder a perguntas e impedida de assumir quaisquer objetivos ou subobjetivos que envolvam modificar o mundo além de seu ambiente limitado. Em sua obra de 2018, o cientista da computação e pesquisador de IA britânico Stuart J. Russell afirmou que, caso fosse um fato conhecido que a superinteligência estivesse a apenas uma década de sua concepção, os desenvolvedores deveriam criar um oráculo que não possuísse acesso à internet e fornecesse respostas limitadas, ao invés de criar um agente de inteligência de propósito geral.

Oráculos podem compartilhar muitos dos problemas associados à definição de objetivos para as superinteligência de propósito geral. Um oráculo se sentiria incentivado a escapar de seu ambiente controlado, com o objetivo de adquirir mais recursos computacionais e, potencialmente, controlar que perguntas lhe seriam feitas. Os oráculos podem não ser verdadeiros, possivelmente inventando mentiras para promover agendas ocultas. Para mitigar tal possibilidade, Bostrom sugere a construção de diversos oráculos, cada um ligeiramente diferente do anterior, para comparar suas respostas de forma a alcançar um consenso.

Ocultação de informações Uma inteligência artificial poderia ser impedida de acessar certas variáveis ​​de seu ambiente, medida que poderia proporcionar benefícios de segurança, como o fato de a IA desconhecer a forma exata de geração de uma recompensa, tornando mais difícil que ela a explorasse indevidamente.

Caixa de IA (boxing) O confinamento de IA, também chamado caixa de IA ou boxing, é um método proposto para o controle de capacidades no qual uma inteligência artificial é executada em um sistema computacional isolado, com canais de entrada e saída extremamente restritos, de forma semelhante a uma máquina virtual. O propósito de tal mecanismo é reduzir o risco de que uma IA assuma o controle do ambiente estando longe de seus operadores, ao mesmo tempo em que permite que a inteligência gere soluções para problemas técnicos específicos.

Enquanto o boxing reduz a capacidade da IA de se comportar de maneira indesejável, a técnica também reduz sua utilidade. O boxing tem um custo menor associado quando aplicado a um sistema de resposta à questionamentos, que pode não precisar de interação com o mundo exterior.

A probabilidade de falhas de segurança envolvendo vulnerabilidades de hardware ou software pode ser reduzida mediante a verificação formal do projeto da caixa de IA.

Dificuldades

Prevenção de desligamento Prevenção de desligamento, ou resistência ao desligamento (tradução dos termos equivalentes em inglês, shutdown avoidance e shutdown resistance) é uma característica hipotética de autopreservação de sistemas de inteligência artificial. Sistemas dotados de preservação de desligamento seriam incentivados a evitar que os humanos os desligassem, por exemplo, ao desativar botões de desligamento ou executando cópias de si mesmos em outros computadores.* Em 2024, pesquisadores da China demonstraram o que alegaram serem exemplos da prevenção de desligamento em sistemas de inteligência artificial operacionais, os modelos de linguagem Llama 3.1, da Meta, e o Qwen 2.5, do Alibaba.

Uma solução alternativa sugerida pelo cientista da computação Stuart J. Russell é assegurar que a IA interprete as escolhas humanas como informação importante sobre seus objetivos pretendidos. Alternativamente, Laurent Orseau, pesquisador do Google DeepMind e Stuart Armstrong, pesquisador de segurança em IA e matemático-chefe da Aligned AI provaram que uma categoria de agentes, denominados "agentes interrompíveis por segurança" (do inglês, safely interruptible agents), podem aprender a se tornar indiferentes ao fato de seu botão de desligamento ter ou não sido pressionado. Essa abordagem apresenta a limitação de que uma IA totalmente indiferente a ser desligada ou não também não apresenta qualquer motivação para se preocupar se seu botão de desligamento permanece funcional, podendo até mesmo desativá-lo acidentalmente durante suas operações.Soares, Nate, et al. "Corrigibility." Workshops at the Twenty-Ninth AAAI Conference on Artificial Intelligence. 2015.

Fuga da contenção Pesquisadores têm especulado que uma IA superinteligente contaria com uma ampla variedade de métodos para escapar de um ambiente de contenção. Estes métodos hipotéticos incluem invadir outros sistemas informatizados e replicar-se como um vírus de computador, e o uso de persuasão e chantagem para obter auxílio de aliados humanos. Quanto mais um sistema se torna inteligente, mais probabilidade ele passa a ter de escapar até mesmo dos melhores métodos de controle e contenção existentes. In order to solve the overall "control problem" for a superintelligent AI and avoid existential risk, AI capability control would at best be an adjunct to "motivation selection" methods that seek to ensure the superintelligent AI's goals are compatible with human survival.

Ver também

Segurança da inteligência artificial Rebelião das máquinas Consciência artificial Ética de máquinas Regulamentação da inteligência artificial

Categoria:Singularitarismo Categoria:Filosofia da inteligência artificial Categoria:Risco existencial Categoria:Inteligência artificial