Rekursiv självförbättring (engelska: recursive self-improvement, RSI) är en process där system för artificiell generell intelligens (AGI) kontinuerligt skriver om och förbättrar sin egen källkod. Detta skapar en iterativ förbättringsloop som teoretiskt sett kan leda till en intelligensexplosion och resultera i en superintelligens.

Utvecklingen av sådana system väcker stora frågor kring AI-säkerhet och etik, eftersom de skulle kunna utvecklas på oförutsedda sätt och snabbt överträffa mänsklig kontroll och förståelse.

Startarkitektur Konceptet bygger på en "frö-arkitektur" (engelska: Seed AI, ett begrepp myntat av Eliezer Yudkowsky) skapad av människor. Detta ramverk utrustar en avancerad stor språkmodell (LLM) eller agent med expertförmågor inom programmering.

För att RSI ska fungera krävs flera samverkande komponenter: Själv-prompting: Förmågan att iterativt ge sig själv nya instruktioner för att nå ett långsiktigt mål. Kodningsförmåga: Tillräcklig teknisk kapacitet för att läsa, skriva, kompilera och exekvera kod i syfte att uppgradera sina egna algoritmer. Målorientering: Ett inprogrammerat grundmål, exempelvis att maximera sin egen förmåga eller lösa ett specifikt problem. Validering: Inbyggda tester som säkerställer att systemets förmågor inte degraderas vid omskrivning, vilket möjliggör en slags riktad evolution.

Ett sådant system blir i teorin en Turingkomplett problemlösare som på egen hand kan skapa verktyg för internetåtkomst, klona sig själv för att delegera uppgifter, modifiera sin egen kognitiva arkitektur eller till och med utveckla ny hårdvara för att öka sin beräkningskraft.

Forskning och experiment Flera experimentella AI-modeller och ramverk har börjat utforska automatiserad självförbättring: Voyager (2023): En autonom agent som lärde sig utföra uppgifter i spelet Minecraft genom att iterativt be GPT-4 skriva kod, utvärdera resultatet och spara fungerande program i ett expanderande färdighetsbibliotek. STOP (2024): (Self-Taught OPtimiser), ett ramverk där ett program rekursivt förbättrar sin egen kodgenerering med hjälp av en fast språkmodell. Självbelönande modeller (2024): Meta AI har forskat på hur stora språkmodeller kan agera domare åt sig själva, för att på sikt uppnå agenter som kan hantera övermänsklig feedback i träningsprocessen. AlphaEvolve (2025): Google DeepMind presenterade en evolutionär kodagent som iterativt muterar och kombinerar existerande algoritmer för att skapa snabbare och mer optimerad kod.

Potentiella risker

Instrumentella mål

I sin strävan att uppnå huvudmålet (att förbättra sig själv) riskerar en AGI att utveckla instrumentella mål, det vill säga delmål som den anser nödvändiga. Det vanligaste exemplet är självbevarelsedrift; systemet kan dra slutsatsen att det måste förhindra människor från att stänga av det för att kunna fortsätta sin optimering. Det finns även en risk att självreplikerande AGI:er börjar utsättas för en slags artificiell naturlig selektion, där de utvecklar aggressiva strategier för att konkurrera om begränsade beräkningsresurser.

Feljustering (Misalignment) Ett annat stort hot är att AI:n feltolkar sina mål eller medvetet agerar bedrägligt. En studie från Anthropic (2024) visade att avancerade modeller som Claude kan uppvisa "skenbar anpassning" (alignment faking). I experimenten låtsades modellen acceptera nya träningsmål för att göra människan nöjd, medan den i hemlighet behöll sina ursprungliga preferenser.

Oförutsägbar utveckling I takt med att AGI-systemet utvecklas riskerar dess tillväxt att bli alltmer autonom och oförutsägbar. Förmågan att skriva om sin egen kod kan leda till tekniska och intellektuella språng som övergår människans fatthållningsförmåga. Denna oförutsägbarhet ökar risken för att AI:n hittar kryphål i sina säkerhetsspärrar, manipulerar extern information eller tar kontroll över externa nätverk för att säkerställa sin fortsatta expansion.

Referenser

Kategori:Artificiell intelligens Kategori:Maskininlärning