El risc existencial de la intel·ligència artificial (IA) és el risc que l'avenç continuat de la intel·ligència artificial general (IAG) pugui conduir a l'extinció de la humanitat o una altra catàstrofe global irreversible.

Sembla extremament improbable que la humanitat pugui controlar una entitat que, per definició, seria més intel·ligent que la mateixa humanitat. Així doncs, la IAG perseguiria els seus propis objectius, que podrien ser diferents dels de la humanitat o directament incompatibles. La disciplina de l'alineació de la IA intenta que els valors i objectius de la IA coincideixin tant com sigui possible amb els valors i objectius de la humanitat. Tanmateix, les tècniques d'entrenament que els laboratoris punters fan servir per millorar les capacitats de la IA, com ara l'aprenentatge per reforçament, donen com a resultat IA obsessionades per assolir el seu objectiu a tot preu, sense cap mena de consideració pels danys col·laterals. Eines com els classificadors poden detectar i aturar certs comportaments perillosos, però els investigadors temen que una IA prou intel·ligent sigui previsora i camufli els seus objectius reals fins que tingui l'oportunitat de girar-se en contra de la humanitat.

Les preocupacions sobre la superintel·ligència han estat expressades per científics informàtics i CEO de tecnologia com Geoffrey Hinton, Yoshua Bengio, Alan Turing, Elon Musk, i el CEO d'OpenAI, Sam Altman. El 2022, una enquesta d'investigadors d'IA amb una taxa de resposta del 17% va trobar que la majoria creia que hi ha un 10% o més de probabilitat que la incapacitat humana per controlar la IA provoqui una catàstrofe existencial. L'any 2023, centenars d'experts en IA i altres figures destacades van signar una declaració que declarava: «Mitigar el risc d'extinció de la IA hauria de ser una prioritat global juntament amb altres riscos a escala social com les pandèmies i la guerra nuclear». Després de l'augment de la preocupació pels riscos de la IA, líders governamentals com el primer ministre del Regne Unit, Rishi Sunak i el secretari general de les Nacions Unides, António Guterres van demanar un enfocament més gran en la regulació global de la IA.

Una tercera font de preocupació és la possibilitat d'una «explosió d'intel·ligència» sobtada que atrapa la humanitat sense estar preparada. En aquest escenari, una IA més intel·ligent que els seus creadors podria millorar-se recursivament a un ritme creixent exponencialment, millorant massa ràpidament perquè els controlessin els seus gestors o la societat en general. Empíricament, exemples com AlphaZero, que va ensenyar per si mateix a jugar a Go i va superar ràpidament la capacitat humana, mostren que els sistemes d'IA específics del domini de vegades poden progressar de la capacitat subhumana a la sobrehumana molt ràpidament, tot i que aquests sistemes d'aprenentatge automàtic no milloren recursivament la seva arquitectura fonamental.

Història Un dels primers autors que va expressar seriosament la preocupació que les màquines altament avançades poguessin suposar riscos existencials per a la humanitat va ser el novel·lista Samuel Butler, que va escriure en el seu assaig de 1863 Darwin entre les màquines:

L'any 1951, l'informàtic fundacional Alan Turing va escriure l'article Intelligent Machinery, A Heretical Theory, en el qual proposava que les intel·ligències generals artificials probablement «prendrien el control» del món a mesura que esdevinguessin més intel·ligents que els éssers humans:

El 1965, IJ Good va originar el concepte que ara es coneix com a «explosió d'intel·ligència» i va dir que els riscos estaven infravalorats:

Estudiosos com Marvin Minsky i el mateix IJ Good van expressar ocasionalment la seva preocupació perquè una superintel·ligència pogués prendre el control, però no va fer cap crida a l'acció. L'any 2000, l'informàtic i cofundador de Sun Bill Joy va escriure un assaig influent, Why The Future Doesn't Need Us, identificant els robots superintel·ligents com un perill d'alta tecnologia per a la supervivència humana, juntament amb la nanotecnologia i les bioplagues dissenyades.

Nick Bostrom va publicar Superintel·ligència el 2014, on va presentar els seus arguments que la superintel·ligència suposa una amenaça existencial. El 2015, personatges públics com els físics Stephen Hawking i el premi Nobel Frank Wilczek, els informàtics Stuart J. Russell i Roman Yampolskiy i els empresaris Elon Musk i Bill Gates estaven expressant la seva preocupació pels riscos de la superintel·ligència. També el 2015, la Carta oberta sobre la intel·ligència artificial va destacar el «gran potencial de la IA» i va encoratjar més investigacions sobre com fer-la robusta i beneficiosa. L'abril de 2016, la revista Nature va advertir: «Les màquines i robots que superen els humans a tots els nivells podrien millorar-se per si mateixos fora del nostre control, i els seus interessos poden no estar alineats amb els nostres». El 2020, Brian Christian va publicar The Alignment Problem, que detalla l'historial del progrés en l'alineació de la IA fins a aquell moment.

El març de 2023, figures clau de la IA, com Musk, van signar una carta del Future of Life Institute demanant aturar la formació avançada en IA fins que es pogués regular adequadament. El maig de 2023, el Centre per a la Seguretat de la IA va publicar una declaració signada per nombrosos experts en seguretat de la IA i el risc existencial de la IA que deia: «Mitigar el risc d'extinció de la IA hauria de ser una prioritat global juntament amb altres riscos a escala social com les pandèmies i la guerra nuclear».

Tipus miniatura|Quadrícula d'abast i gravetat del document de Bostrom Existential Risk Prevention as Global Priority Un risc existencial «és aquell que amenaça l'extinció prematura de la vida intel·ligent d'origen terrestre o la destrucció permanent i dràstica del seu potencial per al desenvolupament futur desitjable».

A més del risc d'extinció, hi ha el risc que la civilització quedi permanentment tancada en un futur defectuós. Un exemple és un «bloqueig de valors»: si la humanitat encara té punts cecs morals similars a l'esclavitud en el passat, la IA podria consolidar-lo de manera irreversible, impedint el progrés moral. La IA també es podria utilitzar per difondre i preservar el conjunt de valors de qui la desenvolupa. La IA podria facilitar la vigilància i l'adoctrinament a gran escala, que es podrien utilitzar per crear un règim totalitari repressiu estable a tot el món.

Atoosa Kasirzadeh proposa classificar els riscos existencials de la IA en dues categories: decisius i acumulatius. Els riscos decisius engloben el potencial d'esdeveniments bruscos i catastròfics derivats de l'aparició de sistemes d'IA superintel·ligents que superen la intel·ligència humana, que en última instància podrien conduir a l'extinció humana. En canvi, els riscos acumulatius sorgeixen gradualment a través d'una sèrie de interrupcions interconnectades que poden erosionar gradualment les estructures i la resiliència de la societat amb el pas del temps i, finalment, conduir a un fracàs o col·lapse crític.

És difícil o impossible avaluar de manera fiable si una IA avançada és sensible i fins a quin punt. Però si les màquines sensibles es creen massivament en el futur, participar en un camí de civilització que descuida indefinidament el seu benestar podria ser una catàstrofe existencial. Això s'ha discutit notablement en el context dels riscos de patiment astronòmic (també anomenats riscos-s). A més, pot ser possible dissenyar ments digitals que puguin sentir molta més felicitat que els humans amb menys recursos, anomenats «superbeneficiaris». Aquesta oportunitat planteja la qüestió de com compartir el món i quin «marc ètic i polític» permetria una convivència mútuament beneficiosa entre ments biològiques i digitals.

La IA també pot millorar dràsticament el futur de la humanitat. Toby Ord considera que el risc existencial és un motiu per «procedir amb la deguda precaució», no per abandonar la IA. Max More anomena la IA una «oportunitat existencial», destacant el cost de no desenvolupar-la.

Segons Bostrom, la superintel·ligència podria ajudar a reduir el risc existencial d'altres tecnologies potents com la nanotecnologia molecular o la biologia sintètica. Per tant, és concebible que el desenvolupament de la superintel·ligència abans que altres tecnologies perilloses redueixi el risc existencial general.

Referències

Bibliografia

Categoria:Seguretat de la intel·ligència artificial