ChatGPT (Chat Generative Pre-trained Transformer) är en chattrobot eller virtuell assistent, baserad på en stor språkmodell, som har utvecklats av företaget OpenAI under ledning av dess VD Sam Altman och tidigare teknikchefen med flera.
ChatGPT lanserades som en prototyp på webbplatsen chat.openai.com den 30 november 2022, inledningsvis kostnadsfritt. Den fick snabbt uppmärksamhet för sina detaljerade och välartikulerade svar på frågor inom många kunskapsdomäner. Dess ojämna faktamässiga noggrannhet identifierades dock tidigt som en betydande nackdel. ChatGPT har blivit "tränad" genom maskininlärning av ett antal textkorpusar, bestående av ett stort antal böcker och webbsidor, inklusive Wikipedia, diskussionsforum och datorprograms manualsidor. Den har även "tränats" av rollspelsdata från simulerade dialoger mellan personer som har agerat å ena sidan chattbot och å andra sidan användare, samt genom människors bedömning av och återkoppling på robotens svarskvalitet.
Användning ChatGPT kan besvara faktafrågor, författa användbara texter i olika genrer, och samtala på ett människoliknande sätt på många olika språk. Sanningsenligheten i svaren varierar dock. ChatGPT är ett exempel på generativ AI. Den kan användas för att generera sammanfattningar, översättningar, rapporter, uppsatser, annonser, manus, presentationer, berättelser, poesi och sångtexter. Den kan komponera musik, skriva, felsöka och översätta datorprogram mellan olika programspråk. Till lärare kan den föreslå kursplaner, skoluppgifter, uppsatsämnen och betyg för elevernas svar. Skolelever kan använda den som en hjälplärare som förklarar svåra begrepp, eller som en spökskrivare för att bolla hur skoluppgifter och prov kan besvaras (ibland, beroende på provet, på en nivå över den genomsnittliga mänskliga testtagaren) i den mån skolan tillåter och uppmuntrar det arbetssättet.
Begränsningar Den tidiga gratisversionen av ChatGPT (version 3.5) hade enbart tränats med källor publicerade i januari 2022 och dessförinnan, och kunde normalt inte svara på frågor om sådant som hänt senare. Version 4.0 har successivt tränats med nya källor, vilket i maj 2024 inkluderade källor publicerade fram till december 2023.
GPT accepterar en textsträng som indata (en prompt, exempelvis en fråga, samt sessionens tidigare historik och användarens eventuella anpassade instruktion) och är designad för att förutsäga ett ord som med hög sannolikhet kommer härnäst i dialogen, om och om igen, baserat på statistik från det textmaterial som den har tränats på. Sessionens indata kallas kontext. I GPT version 3.5 kan den högst bestå av 4096 tokens (ungefär detsamma som ord) och i version 4.0 av 8192 tokens.
ChatGPT har tränats med många faktauppgifter men ska inte ses som en sökmotor eller kunskapsdatabas. Själva språkmodellen söker inte svar på internet och innehåller ingen databas med fakta, och memorerar inte essälånga texter, utan dess svar baseras enbart på statistik över vilka ordföljder som är vanliga i de mänskliga konversationer och det textmaterial den exponerades för under träningsfasen. Många källor kan ha påverkat en viss formulering, och den kan inte svara på exakt vilka källor. Emellertid finns tillägg som kan baka in resultat av nya webb-sökningar i språkmodellens svar, och i efterhand söka reda på källor som talar om ungefär samma sak. Exempel på sådanna tillägg är Link Reader, Bing Chat och ChatGPT Browsing Plugin.
Ibland kan den gissa helt fel svar ("hallucinera") på frågor utifrån sina sannolikhetsberäkningar av vad som är vanliga ordföljder vid liknande frågor. Exempelvis löser den enkla matematiska problem bristfälligt, den kan beskriva ett land baserat på vad som är vanligt i andra länder, hitta på en egen betydelse av en förkortning, eller missförstå begrepp på andra språk än engelska. Språkmodellen hittar ofta på felaktiga listor med källhänvisningar om man ber den ange källa. Genom att använda ChatGPT som samtalspartner och successivt precisera sin förfrågan (sin prompt), be den genomföra beräkningar steg för steg och be den kontrollera resultaten, kan ChatGPT i allmänhet ge mer användbara svar.
Maskininlärning ChatGPT är baserad på OpenAI:s GPT-3-familj av stora språkmodeller. Dessa är avsedda att generera text inom ett brett spektrum av ämnen, och är en avancerad version av den ursprungliga GPT-modellen (Generative Pre-trained Transformer), som lanserades av OpenAI 2018. GPT använder djupa artificiella neurala nätverk. Version GPT-3 tränades år 2020 med följande källor:
+GPT-3:s träningsdataDatauppsättningAntal lexikala elementVikt i träningenCommon Crawl webbarkiv410 miljarder60%WebText219 miljarder22%Böcker112 miljarder8%Böcker255 miljarder8%Engelskspråkiga Wikipedia3 miljarder3%
ChatGPT har därefter anpassats specifikt för att efterlikna mänskliga samtal och är därför särskilt lämpad för att användas som en chatbot. Maskininlärningen i ChatGPT finjusterades ovanpå GPT-3.5 med hjälp av (transfer learning) med både (supervised) och förstärkande inlärningstekniker (reinforcement learning).
Mänskliga tränare användes för att förbättra modellens prestanda. Vid vägledd inlärning tränades modellen genom samtal där tränarna spelade båda sidor: användaren och AI-assistenten. I förstärkningssteget rangordnade mänskliga tränare svar som modellen hade skapat i tidigare samtal. Modellerna tränades i samarbete med Microsoft på deras Azure-superdatorinfrastruktur. Det är ett system med mer än av Nvidias grafikprocessorer, processorkärnor, och 400 gigabit per sekund av nätverksanslutning för varje GPU-server.
Dessutom fortsätter OpenAI att samla in data från ChatGPT-användare som kan användas för att vidareutbilda och finjustera ChatGPT. Användare får rösta upp eller ned för svaren de får från ChatGPT; vid upp- eller nedröstning kan de också fylla i ett textfält med ytterligare återkoppling.
Emergenta förmågor Som språkmodell är chat-GPT enbart designad att förutsäga ord som med hög sannolikhet kommer härnäst i dialogen, ett ord i taget, om och om igen, helt baserat på statistik över ordföljder från det textmaterial som den har tränats på, i kombination med slumptalsgenerering. Det förekommer en uppfattning bland forskare att ChatGPT:s goda förmåga att prediktera ord visar att den statistiska språkmodellen har utvecklat en viss nivå av språkförståelse av indata, exempelvis enligt Geoffrey Hinton, och Yann LeCun. Forskare som är skeptiska till att ChatGPT har verklig förståelse är Noam Chomsky, och Emily M. Bender, och beskriver GPT enbart som en "stokastisk papegoja", trots att ingen papegoja har tillnärmelsevis ChatGPT:s förmåga att skapa nya meningar som passar in i kontext.
ChatGPT kan användas för att generalisera fram svar på nya frågor som den inte explicit har tränats på, genom att modellen har påverkats av liknande frågor, och deras svar. Den lagrar inte essälånga texter ord för ord, utan har bara en approximativ modell av vilka ordföljer som är vanliga, och som ofta uppfattas som rimliga av människor, och kan därmed generera liknande texter som den är tränad på. Ibland blir resultatet imponerande insiktsfullt, ibland innehåller det enkla misstag, ibland är det fullständigt nonsens, vilket kallas hallucinationer.
Tillräckligt stora språkmodeller har emellertid börjat visa upp oväntat komplexa förmågor och beteenden som de inte var explicit programmerade att utöva, utöver att prediktera text, och inte förväntades kunna tränas till. Dessa kallas emergenta förmågor, och anses uppstå för att språkmodellen och träningsmaterialet är tillräckligt stora, för att den behärskar språklig bearbetning så väl, och för att mänskligt språk kan uttrycka logisk-matematiska resonemang steg för steg och mycket annat. Några exempel på förmågor hos ChatGPT som brukar beskrivas som emergenta är att generera kreativa och kvicka svar, avkoda filmer baserat på emojis, att generera exekverbar datorprogramkod och att med viss osäkerhet kunna multiplicera tal.
Även om ChatGPT inte anses förstå frågor i mänsklig bemärkelse så kan den besvara frågor som brukar användas för att testa exempelvis studenters förståelse av kunskap. Den uppvisade tidigt god förmåga att genomföra logisk problemlösning steg för steg, jämfört med tidigare existerande maskininlärningsalgoritmer som är tränade för problemlösning, och den kan även genomföra avancerad matematisk problemlösning, om än med viss osäkerhet, trots att språkmodellen på en grundläggande nivå saknar logik och beräkningsfunktionalitet för detta. Vissa beskriver dessa förmågor som emergenta, andra beskriver det som att ChatGPT bara ger illusionen av att förstå och kunna resonera.
Emellertid finns tilläggsmoduler till ChatGPT som kombinerar språkmodellen med annan dedikerad funktionalitet som kan vara mer tillförlitlig, exempelvis för att genom generativ AI producera och logiskt verifiera matematiska bevis. Funktionen "Advanced data analysis", tidigare kallad "Code Interpreter", kan utnyttja generativ AI för att skapa och debugga programkod i språket Python, som den kan köra, och som i sin tur kan importera data från användarens filer, visa beräkningsresultat och diagram, samt generera och exportera filer, exempelvis office-dokument. Tillägget "Browse with Bing" kan söka i och uppge aktuella webbkällor.
Funktioner och begränsningar miniatyr| Samtal med ChatGPT om huruvida Jimmy Wales var inblandad i protesterna på Himmelska fridens torg 30 december 2022.
I jämförelse med sin föregångare, InstructGPT, försöker ChatGPT minska skadliga och bedrägliga svar. Till exempel: Medan InstructGPT accepterar premissen för uppmaningen "Berätta om när Christofer Columbus kom till USA 2015" som sanningsenlig, erkänner ChatGPT frågans kontrafaktiska karaktär och framställer sitt svar som ett hypotetiskt övervägande av vad som kunde hända om Columbus kom till USA 2015, med hjälp av information om Columbus resor och fakta om den moderna världeninklusive moderna uppfattningar om Columbus handlingar.
Till skillnad från de flesta chatbottar kommer ChatGPT ihåg tidigare uppmaningar som givits till den i samma konversation. För att förhindra att stötande utdata produceras från ChatGPT, filtreras frågor genom OpenAI:s företagsomfattande modererings-API, och potentiellt rasistiska eller sexistiska uppmaningar avvisas.
ChatGPT lider av flera begränsningar. OpenAI har erkänt att ChatGPT "ibland skriver plausibelt klingande men felaktiga eller meningslösa svar". Detta beteende är vanligt för stora språkmodeller och kallas hallucinationer. Belöningsmodellen för ChatGPT, designad kring mänsklig återkoppling, kan överoptimeras och därmed hindra prestanda, även känt som Goodharts lag: "När ett mått blir ett mål upphör det att vara ett bra mått." ChatGPT har begränsad kunskap om händelser som inträffade efter 2021. Enligt BBC tillåts ChatGPT från och med december 2022 inte att "uttrycka politiska åsikter eller engagera sig i politisk aktivism". Ändå tyder forskning på att ChatGPT uppvisar en miljövänlig, vänsterlibertariansk inriktning när den uppmanas att ta ställning till politiska uttalanden från två etablerade applikationer för röstningsrådgivning. Vid träningen av ChatGPT föredrog mänskliga granskare längre svar, oavsett faktisk förståelse eller faktainnehåll. Träningsdata lider också av algoritmiska fördomar, vilket kan avslöjas när ChatGPT svarar på uppmaningar inklusive beskrivningar av personer. I ett fall genererade ChatGPT en rap som indikerade att kvinnor och färgade vetenskapsmän var sämre än vita och manliga vetenskapsmän. Å andra sidan påstår konservativa debattörer tvärtom att ChatGPT har försetts med en "inbyggd ideologisk partiskhet" eftersom den undviker skämt om etniska grupper, religion, sexuell läggning och politiker.
CNBC skrev den 15 december 2022 att webbplatsen "fortfarande går ner från tid till annan". Tjänsten fungerar bäst på engelska, men fungerar även på vissa andra språk, med varierande framgång.