Inom artificiell intelligens (AI) är en grundmodell (engelska: foundation model), även kallad storskalig modell, en maskininlärnings- eller djupinlärningsmodell som har tränats på enorma mängder data för att kunna tillämpas på ett brett spektrum av användningsområden. Applikationer inom generativ AI, såsom stora språkmodeller (LLM), är vanliga exempel på grundmodeller.
Att bygga grundmodeller är extremt resurskrävande. De mest avancerade modellerna kostar hundratals miljoner dollar att utveckla på grund av kostnaderna för att samla in och bearbeta massiva datamängder, samt den enorma beräkningskraft (ofta tusentals kraftfulla GPU:er) som krävs för träningen.Maslej, Nestor; Fattorini, Loredana; Brynjolfsson, Erik m.fl. "The AI Index 2023 Annual Report," AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, California, april 2023. Däremot är det relativt billigt och resurseffektivt att anpassa en redan existerande grundmodell för specifika uppgifter genom finjustering (fine-tuning), eftersom modellen redan har en bred förståelse i grunden.
Tidiga och kända exempel på grundmodeller inkluderar OpenAI:s GPT-serie och Google:s BERT för text, samt DALL-E och Stable Diffusion för bilder. Det utvecklas även specialiserade grundmodeller för allt från robotstyrning till kodning och medicin.
Definition och historik Termen foundation model myntades i augusti 2021 av forskare vid Stanford University Center for Research on Foundation Models (CRFM). Anledningen var att existerande termer som "stora språkmodeller" ansågs vara för snäva, eftersom dessa nya modeller kunde hantera mycket mer än bara text (exempelvis bild, ljud och video).
I takt med att regeringar världen över reglerar AI har nya juridiska definitioner vuxit fram. I EU:s AI-förordning (AI Act) definieras en grundmodell (eller allmän AI-modell) som en modell som har tränats på storskalig data, är designad för generella utdata och som kan anpassas till en rad olika specifika uppgifter.
Teknisk uppbyggnad Grundmodeller bygger på etablerade tekniker som djupa neurala nätverk, överföringsinlärning (transfer learning) och självövervakad inlärning (self-supervised learning). Istället för att bygga en specifik AI för varje unikt problem, fungerar grundmodellen som en återanvändbar infrastruktur.
Utvecklingen har drivits framåt av framsteg inom parallell databehandling och nya nätverksarkitekturer, i synnerhet Transformer-arkitekturen, som blivit branschstandard för att bygga dessa modeller oavsett om det gäller text, bild eller ljud.
Relaterade koncept
Spjutspetsmodeller (Frontier models) Detta är de allra mest avancerade och kraftfulla grundmodellerna. På grund av sin höga kapacitet kan de potentiellt innebära stora risker för den allmänna säkerheten, till exempel om de missbrukas för att skapa desinformation, utföra cyberattacker eller designa biologiska vapen.
Allmän AI (General-purpose AI) På grund av sin breda anpassningsförmåga betraktas grundmodeller ofta som allmän AI, vilket innebär att de kan användas i människors vardag för en mängd olika generella uppgifter (exempelvis via chattbotar som ChatGPT).
Världsmodeller (World models) Ett framväxande koncept där AI-modeller tränas för att representera och förstå fysiska eller virtuella miljöer och kunna förutsäga hur dessa miljöer reagerar på olika handlingar. Dessa modeller ses av vissa forskare som nästa stora steg mot artificiell generell intelligens (AGI).
Utmaningar och risker Utvecklingen och spridningen av grundmodeller för med sig flera stora utmaningar: Datakvalitet och bias: Eftersom modellerna tränas på massiv data från internet riskerar de att ärva och förstärka mänskliga fördomar, giftigt språk och diskriminerande mönster. Upphovsrätt och integritet: Träningsdatan skrapas ofta från webben, vilket har lett till debatter och stämningar gällande upphovsrättsintrång och oavsiktliga läckor av privat information. Monopolisering av beräkningskraft: Den enorma kostnaden för datakraft och hårdvara innebär att endast en handfull stora teknikföretag har resurser att bygga de mest avancerade modellerna från grunden. Miljöpåverkan: Träningen och driften av storskaliga modeller kräver massiva mängder energi och vatten för kylning av datacenter, vilket resulterar i ett betydande klimatavtryck.
Se även Artificiell intelligens Generativ artificiell intelligens Språkmodell Maskininlärning
Referenser
Kategori:Maskininlärning Kategori:Artificiell intelligens