miniatura|407x407px|Les corbes de pèrdua blaves representen la memorització primerenca del conjunt d'entrenament (sobreajustament), i les corbes vermelles mostren la generalització tardana, amb l'aprenentatge d'un algorisme de suma modular que funciona amb entrades invisibles. En l'aprenentatge automàtic, el grokking, o generalització retardada, és una transició a la generalització que es produeix moltes iteracions d'entrenament després del llindar d'interpolació, després de moltes iteracions de progrés aparentment escàs, a diferència del procés habitual on la generalització es produeix lentament i progressivament un cop s'ha assolit el llindar d'interpolació.
Transició Grokking va ser introduït el gener de 2022 per investigadors d'OpenAI que investigaven com les xarxes neuronals realitzen càlculs. Deriva de la paraula *grok* encunyada per Robert Heinlein a la seva novel·la *Stranger in a Strange Land*
El grokking es pot entendre com una transició de fase durant el procés d'entrenament. Tot i que el grokking s'ha considerat en gran part un fenomen de models relativament superficials, s'ha observat en xarxes neuronals profundes i models no neuronals i és objecte d'investigació activa.
Una possible explicació és que la decadència del pes (un component de la funció de pèrdua que penalitza els valors més alts dels paràmetres de la xarxa neuronal, també anomenada regularització) afavoreix lleugerament la solució general que implica valors de pes més baixos, però que també és més difícil de trobar. Segons Neel Nanda, el procés d'aprenentatge de la solució general pot ser gradual, tot i que la transició a la solució general es produeix més sobtadament més tard.
Teories recents han plantejat la hipòtesi que el grokking es produeix quan les xarxes neuronals passen d'un règim d'"entrenament mandrós" on els pesos no es desvien gaire de la inicialització, a un règim "ric" on els pesos comencen a moure's bruscament en direccions rellevants per a la tasca. El treball empíric i teòric posterior ha acumulat proves que donen suport a aquesta perspectiva i ofereix una visió unificadora de treballs anteriors, ja que se sap que la transició d'una dinàmica d'entrenament mandrosa a una rica sorgeix de les propietats dels optimitzadors adaptatius, la decadència del pes, la norma de pes del paràmetre inicial i més.
Referències
Categoria:Aprenentatge automàtic