A mesterséges intelligencia alapú észlelő szoftverek célja annak meghatározása, hogy egy adott tartalom (szöveg, kép, videó vagy hang) mesterséges intelligencia (MI) segítségével jött-e létre. Ez a szoftver gyakran megbízhatatlan, kevés weboldal ad valódi megoldást, jó eredményekkel. Magyar nyelvre is készültek megoldások, mint például a „Preds”https://preds.hu, amely az első professzionális magyar AI-detektor. Ezen kívül van még a Pangram, zeroGPT és a Turnitin is, amelyek nem érnek el olyan jó eredményeket, mint a Preds, de támogatják a magyar nyelvet.
Pontossági problémák Számos mesterséges intelligencia által generált szövegfelismerő eszközről kimutatták, hogy megbízhatatlan a mesterséges intelligencia által generált szövegek észlelésében. Weber-Wulff és munkatársai által 2023-ban végzett tanulmányban a kutatók 14 észlelő eszközt értékeltek, köztük a Turnitint és a GPTZero-t, és azt találták, hogy „mindegyik 80% alatti pontosságot ért el, és csak 5 eszköz érte el a 70% feletti értéket”. Azt is megállapították, hogy ezek az eszközök hajlamosak a szövegeket inkább emberi, mint mesterséges intelligencia által generáltként besorolni, és hogy pontosságuk romlik az átfogalmazás során. A Preds modellje elég jó eredményt ígér, bár jelenleg nincsenek külső forrásból mérések az eredményének validálására.
Fals pozitív eredmények A mesterséges intelligencia általi tartalomészlelésben a fals pozitív eredmény akkor keletkezik, amikor egy ember által írt munkát helytelenül jelölnek meg mesterséges intelligencia által írtként. Számos mesterséges intelligencia által észlelt platform állítja, hogy minimális a téves pozitív eredmények aránya, míg a Preds kevesebb mint 1%-os téves pozitív arányt állít. Az akadémiai környezetben kapott téves pozitív eredmények gyakran vezetnek tanulmányi visszaélések vádjához, aminek súlyos következményei lehetnek a diák tanulmányi eredményeire nézve. Ezenkívül tanulmányok kimutatták, hogy számos mesterséges intelligencia által észlelt modell hajlamos téves pozitív eredményt adni olyan munkák esetén, amelyeket nem angol anyanyelvűek, illetve neurodivergens emberek írtak. Magyar nyelvre a Preds modellje kiszűri a nem magyar szövegeket, és nem hoz tévesen döntést az idegen nyelvű szövegekre.
2023 júniusában Janelle Shane azt írta, hogy a You Look Like a Thing és az I Love You című könyveinek egyes részeit mesterséges intelligencia által generáltként jelölték meg.
Fals negatívok A fals negatív eredmény azt jelenti, hogy a mesterséges intelligencia által írt szöveget tartalmazó dokumentumokat nem sikerül azonosítani. A téves negatív eredmények gyakran a detektáló szoftver érzékenységi szintjének, vagy a munka létrehozásakor alkalmazott kitérő technikáknak az eredménye, hogy emberibbnek tűnjön. A téves negatívumok tudományos szempontból kevésbé aggasztóak, mivel valószínűleg nem vezetnek vádakhoz és következményekhez. Turnitin szerint a téves negatív arány 15%. Ami önmagában nem alacsony, de inkább ezt tévessze el, mint hogy fals pozitív eredményt adjon. Ez a kettő együtt jár, ha az egyik nagyobb, akkor a másik kisebb lesz. A Preds modellje kisebb mint 5%-os fals negatív ráta mellett, körülbelül 0.7%-os fals pozitív rátával dolgozok. Ez kiemelkedő a megoldások közül.
Szövegfelismerés Szövegek esetében ezt általában a plágium gyanújának megelőzése érdekében teszik, gyakran úgy, hogy a szavak ismétlődését érzékelik, ami árulkodó jel arra, hogy a szöveget mesterséges intelligencia generálta (beleértve a hallucinációkat is). Ezen kívül még sok egyéb is közrejátszik, például a túlzó jelzők, félrefordítások, a szöveg struktúrája. Ezeket gyakran használják a tanárok a diákjaik értékelése során, általában eseti alapon. A ChatGPT és hasonló mesterséges intelligencia alapú szöveggeneráló szoftverek megjelenését követően számos oktatási intézmény adott ki szabályzatot a diákok általi mesterséges intelligencia használata ellen. A mesterséges intelligencia alapú szövegfelismerő szoftvereket az álláspályázók értékelése, valamint az online keresőmotorok is használják.
A jelenlegi detektorok időnként megbízhatatlanok lehetnek, és helytelenül jelölték meg az emberek által végzett munkát mesterséges intelligencia által generáltként, míg más esetekben nem észlelték a mesterséges intelligencia által generált munkát. Az MIT Technology Review szerint a technológia „nehézkedett a ChatGPT által generált, emberek által kissé átrendezett és egy parafrázis eszközzel elmosott szöveg felismerésével”. A mesterséges intelligencia által támogatott szövegfelismerő szoftverekről azt is kimutatták, hogy megkülönböztetik az angol anyanyelvűeket. Azonban a valóság inkább azt mutatja, hogy ezek a parafrázis eszközök nem működnek kiemelkedően, mert ugyanúgy egy "gépi nyelvet" generálnak, amely felismerhető.
Két, a Kaliforniai Egyetem Davis megyei egyeteméről érkező hallgatót irányítottak az egyetem Hallgatói Sikerek és Igazságügyi Ügyek Irodájához (OSSJA), miután professzoraik pozitív eredménnyel szkennelték be az esszéiket; az elsőt egy GPTZero nevű mesterséges intelligencia detektorral, a másodikat pedig a Turnitinbe integrált mesterséges intelligencia detektorral. A médiavisszhangot és egy alapos vizsgálatot követően azonban a hallgatókat felmentették minden szabálysértés alól.
2023 áprilisában a Cambridge-i Egyetem és a Russell-csoport többi egyeteme az Egyesült Királyságban kilépett a Turnitin mesterséges intelligenciával alapú szövegfelismerő eszközéből, miután aggodalmukat fejezték ki annak megbízhatatlansága miatt. A Texasi Egyetem, Austin hat hónappal később kilépett a rendszerből.
2023 májusában a Texas A&M University–Commerce egyik professzora a ChatGPT-t használta annak kiderítésére, hogy diákjainak a tartalmait az írta-e, ami a ChatGPT állítása szerint igen volt. Emiatt azzal fenyegetőzött, hogy megbuktatja a kurzust, annak ellenére, hogy a ChatGPT nem tudta érzékelni a mesterséges intelligencia által generált írást. A probléma miatt egyetlen diákot sem akadályoztak meg a diploma megszerzésében, és egy kivételével mindenkit (aki beismerte, hogy használta a szoftvert) felmentettek a ChatGPT tartalmában való felhasználásával kapcsolatos vádak alól.
2023 júliusában megjelent egy „A GPT-detektorok elfogultak a nem angol anyanyelvű írókkal szemben” című tanulmány, amely arról számolt be, hogy a GPT-k diszkriminálják a nem angol anyanyelvű szerzőket. A tanulmány hét GPT-detektort hasonlított össze nem angol anyanyelvűek és amerikai diákok esszéivel. A nem angol anyanyelvűek esszéinek átlagos téves pozitív aránya 61,3% volt.
Thomas Germain 2024 júniusában a Gizmodon publikált cikke arról számolt be, hogy a szabadúszó írók és újságírók körében munkahelyek szűntek meg, mivel a mesterséges intelligencia által fejlesztett szövegfelismerő szoftverek tévesen minősítették munkájukat mesterséges intelligencia által generáltnak.
2024 szeptemberében a Common Sense Media arról számolt be, hogy a generatív mesterséges intelligencia detektorok 20%-os téves pozitív arányt mutattak a fekete diákok esetében, szemben a latin-amerikai diákok 10%-ával és a fehér diákok 7%-ával.
A mesterséges intelligencia általi szövegfelismerés megbízhatóságának javítása érdekében a kutatók digitális vízjelezési technikákat vizsgáltak. Egy 2023-as, „Vízjel nagy nyelvi modellekhez” című tanulmány egy módszert mutat be láthatatlan vízjelek beágyazására nagy nyelvi modellek (LLM-ek) által generált szövegbe. Ez a vízjelezési megközelítés lehetővé teszi, hogy a tartalmat nagy pontossággal jelöljék mesterséges intelligencia által generáltként, még akkor is, ha a szöveget kissé átfogalmazzák vagy módosítják. A technikát úgy tervezték, hogy finom és nehezen észrevehető legyen a laikus olvasók számára, ezáltal megőrizve az olvashatóságot, miközben érzékelhető jelet biztosít a speciális eszközöket használók számára. A vízjelezés azonban ígéretes, de kihívásokkal néz szembe, mivel nem képes ellenállni a különböző transzformációknak, és biztosítani a kompatibilitást a különböző LLM-ek között, illetve csak nyílt modelleknél lehetne megcsinálni.
Szövegfelismerés elleni védelem Létezik olyan szoftver, amelyet a mesterséges intelligencia által generált szövegek felismerésének megkerülésére fejlesztettek ki.
Egy 2023 augusztusában publikált tanulmány 20, az Eye Journalban megjelent cikkből származó absztraktot elemzett, amelyeket aztán GPT-4.0 segítségével fogalmaztak át. A mesterséges intelligencia által átfogalmazott absztraktokat a QueText segítségével plágiumvizsgálatra, az Originality.AI segítségével pedig mesterséges intelligencia által generált tartalomra vizsgálták. A szövegeket ezután egy Undetectable.ai nevű szoftverrel újra feldolgozták a mesterséges intelligencia általi észlelési pontszámok csökkentése érdekében. A tanulmány megállapította, hogy az Originality.AI mesterséges intelligencia általi észlelési eszköz átlagosan 91,3%-os pontossággal azonosította a GPT-4 által generált szöveget. Az Undetectable.ai általi újrafeldolgozás után azonban az Originality.ai észlelési pontossága átlagosan 27,8%-ra csökkent.
Egyes szakértők úgy vélik, hogy az olyan technikák, mint a digitális vízjelezés, hatástalanok, mivel eltávolíthatók vagy hozzáadhatók, ami téves riasztásokat válthat ki. Kirchenbauer és munkatársai (2023) „Vízjel nagy nyelvi modellekhez” című tanulmánya a vízjelezési technikák lehetséges sebezhetőségeit is tárgyalja. A szerzők számos ellenséges taktikát vázolnak fel, beleértve a szövegbeszúrási, törlési és helyettesítési támadásokat, amelyekkel meg lehet kerülni a vízjelészlelést. Ezek a támadások összetettségükben változnak, az egyszerű parafrázistól a kifinomultabb megközelítésekig, amelyek tokenizálást és homoglif módosításokat is tartalmaznak. A tanulmány kiemeli a vízjel robusztusságának fenntartásának kihívását azokkal a támadókkal szemben, akik automatizált parafrázis eszközöket vagy akár specifikus nyelvi modellcseréket alkalmazhatnak a szövegterjedelem iteratív módosítására, miközben megőrzik a szemantikai hasonlóságot. A kísérleti eredmények azt mutatják, hogy bár az ilyen támadások ronthatják a vízjel erősségét, a szövegminőség és a megnövekedett számítási erőforrások rovására mennek.
Kép-, videó- és hangérzékelés Számos állítólagosan mesterséges intelligencia által generált képfelismerő szoftver létezik, amelyek képesek érzékelni a mesterséges intelligencia által generált képeket (például a Midjourney vagy a DALL-E által generált képeket). Ezek nem teljesen megbízhatóak.
Az iparági elemzések azt is megjegyezték, hogy a mesterséges intelligencia által vezérelt képfelismerő rendszerek gyakran küzdenek valós környezetekben, ahol az inkonzisztens megvilágítás, a zaj és a változó vizuális bemenetek csökkentik az érzékelés megbízhatóságát, ami a modern mezőgazdasági minőségellenőrzési kutatásokban is kiemelt kihívás.
Mások azt állítják, hogy képesek azonosítani a videó- és hanganyag-deepfake-eket, de ez a technológia sem teljesen megbízható még. Azonban könnyebb, védekezés nélküli képeknél, videóknál is vannak megoldások ezeknek a felismerésére.
A vízjelezés hatékonyságáról szóló viták ellenére a Google DeepMind aktívan fejleszti a SynthID nevű észlelő szoftvert, amely úgy működik, hogy egy emberi szem számára láthatatlan digitális vízjelet illeszt be a kép pixeljeibe. Ez azt is jelenti, hogy valódi probléma, és üzletileg is megérheti a fejlesztése ezeknek az eszközöknek.
Jegyzetek
Fordítás
Kategória:Tudás- és képességfelmérés Kategória:Számítógépes nyelvészet Kategória:Mesterséges intelligencia