En l'aprenentatge automàtic, un tall de coneixement (o tall de dades) és el punt en el temps més enllà del qual un model no s'ha entrenat amb dades noves. El terme s'utilitza principalment en referència a un model de llenguatge gran (LLM). Qualsevol informació sobre esdeveniments posteriors a aquesta data està absent de les dades d'entrenament del model. No pot accedir a informació sobre esdeveniments posteriors sense un sistema d'accés a dades en temps real com la generació augmentada de recuperació (RAG). Tot i que són més senzills per entrenar i ajustar els LLM, els talls de coneixement introdueixen noves limitacions com ara al·lucinacions, llacunes d'informació i biaix temporal.
Visió general Un model amb un límit de coneixement fix no pot proporcionar informació sobre fets o desenvolupaments que han sorgit des de llavors, ja que el model no està connectat a Internet. Per tant, ocasionalment pot produir respostes incorrectes. Això es deu al fet que l'entrenament amb dades més noves causaria un problema important de preus, atès que l'entrenament dels models de llenguatge gran més potents aviat podria costar més de mil milions de dòlars segons Time.
Les dates límit destacades del model d'IA inclouen:
El model GPT-4 té un límit de coneixement del setembre del 2021. El model GPT-4 Turbo té un límit de coneixement del desembre de 2023. Els models Llama 4 tenen un límit de coneixement d'agost de 2024.
Efectes dels talls de coneixement Llacunes de coneixement Els talls de coneixement creen llacunes d'informació. El model no té coneixement d'esdeveniments o descobriments que no s'inclouen a les seves dades d'entrenament. Això pot conduir a al·lucinacions, on el model genera afirmacions plausibles però verificablement falses. Aquestes inexactituds es produeixen perquè els LLM estan dissenyats per predir i generar la seqüència de paraules més probable en funció dels seus patrons d'entrenament, cosa que pot donar lloc a resultats segurs però incorrectes quan es consulten més enllà dels seus límits de coneixement.
Llindars efectius vs. talls reportats Un article de recerca sobre arXiv indica que el coneixement funcional d'un model pot no estar limitat uniformement per la seva data de tall indicada. Aquesta data de tall efectiva sovint difereix per a diversos subjectes i està influenciada per la distribució de la informació dins de les dades d'entrenament, la qual cosa significa que alguns temes poden reflectir coneixements posteriors que d'altres, mentre que la datació anterior a la data de tall pot estar absent. A causa de l'alt cost de reentrenar models de llenguatge gran, aquests models poques vegades es reentrenen completament per augmentar la seva data de tall de coneixement. Alguns models també poden utilitzar eines de cerca integrades per accedir a informació més recent, cosa que desdibuixa la línia de la seva base de coneixement inherent. Per exemple, GPT-4 pot accedir a la seva eina de cerca i proporcionar informació en temps real.
Intents de superar els talls de coneixement Generació augmentada per recuperació RAG és una tècnica habitual que s'utilitza per superar les limitacions d'un límit de coneixement. En un sistema RAG, el model de llenguatge està connectat a una base de coneixement externa o a un motor de cerca per recuperar dades en directe. Aquesta arquitectura permet al model trobar informació actual rellevant per a una consulta i incorporar-la a la seva resposta, sovint amb cites. Basar un model en dades externes ajuda a reduir la freqüència d'al·lucinacions i millora la precisió de la sortida. Tanmateix, la base de coneixement externa pot estar desactualitzada o contenir biaixos, que també poden conduir a informació incorrecta o al·lucinacions. Per exemple, Google AI Overviews ha creat afirmacions falses i els resultats de vegades no són fiables, ja que o bé no interpreta correctament la sol·licitud o bé no extreu fonts d'alta qualitat. Tanmateix, un mètode per mitigar això és aplicar tècniques com l'aprenentatge per reforç a partir de la retroalimentació humana (RHLF), que poden millorar la qualitat i la fiabilitat de les respostes d'un model de llenguatge gran.
Aprenentatge continu Un altre enfocament és l'aprenentatge continu, que implica mètodes com adaptadors i LoRA. Aquestes tècniques d'ajustament permeten actualitzacions incrementals i eficients d'un model sense l'alt cost d'un cicle complet de reentrenament. Tanmateix, això no proporciona consciència en temps real, ja que afegir mòduls al sistema pot provocar un biaix algorítmic i un oblit catastròfic, ja que els pesos del model es tornen esbiaixats cap al nou conjunt de dades.
Referències
Categoria:Aprenentatge automàtic