miniatura|300x300px|La funció de pèrdua de triplet minimitza la distància entre un àncora i un positiu, tots dos tenen la mateixa identitat, i maximitza la distància entre l'àncora i un negatiu d'una identitat diferent. La pèrdua de triplets és una funció de pèrdua d'aprenentatge automàtic que s'utilitza àmpliament en l'aprenentatge d'una sola vegada, un entorn on els models s'entrenen per generalitzar de manera eficaç a partir d'exemples limitats. Va ser concebut pels investigadors de Google per al seu destacat algorisme FaceNet per a la detecció de cares.
La pèrdua de triplets està dissenyada per donar suport a l'aprenentatge mètric. És a dir, per ajudar els models d'entrenament per aprendre una incrustació (mapeig a un espai de característiques) on els punts de dades similars estiguin més a prop i els diferents més allunyats, permetent una discriminació robusta en condicions variades. En el context de la detecció de cares, els punts de dades corresponen a imatges.
Definició La funció de pèrdua es defineix utilitzant triplets de punts d'entrenament de la forma . En cada triplet, (anomenat "punt d'ancoratge") denota un punt de referència d'una identitat particular, (anomenat "punt positiu") denota un altre punt de la mateixa identitat en el punt , i (anomenat "punt negatiu") denota un punt d'una identitat diferent de la identitat en el punt i .
Deixa ser algun punt i deixar ser la incrustació de en l'espai euclidià de dimensions finites. S'ha de suposar que la norma L2 de és la unitat (la norma L2 d'un vector en un espai euclidià de dimensions finites es denota per .) Muntem triplets de punts del conjunt de dades d'entrenament. L'objectiu de l'entrenament aquí és assegurar-se que, després de l'aprenentatge, la següent condició (anomenada "restricció de triplets") sigui satisfeta per tots els triplets. al conjunt de dades d'entrenament:
La variable és un hiperparàmetre anomenat marge i el seu valor s'ha d'establir manualment. Al sistema FaceNet, el seu valor es va establir com a 0,2.
Així, la forma completa de la funció a minimitzar és la següent:
Intuïció Una línia de base per entendre l'eficàcia de la pèrdua de triplets és la pèrdua contrastiva, que opera en parells de mostres (en lloc de triplets). L'entrenament amb la pèrdua contrastiva apropa les incrustacions de parelles similars i separa les parelles diferents. El seu enfocament per parelles és avariciós, ja que considera cada parell de manera aïllada.
La pèrdua de triplets innova tenint en compte les distàncies relatives. El seu objectiu és que la incrustació d'un punt d'ancoratge (consulta) estigui més a prop dels punts positius que dels punts negatius (també tenint en compte el marge). No intenta optimitzar encara més les distàncies un cop es compleix aquest requisit. Això s'aproxima considerant simultàniament dos parells (àncora-positiu i àncora-negatiu), en lloc de cada parell de manera aïllada.
Triplet "mineria" miniatura|Mineria de triplets: diverses opcions per seleccionar el negatiu donat un àncora i un positiu . Els negatius molt durs i semidurs infringeixen el requisit de triplets, de manera que ens agradaria que l'optimitzador allunyés les seves incrustacions de l'àncora. Un detall crucial de la implementació quan s'entrena amb pèrdua de triplets és la "mineria" de triplets, que se centra en la selecció intel·ligent de triplets per a l'optimització. Aquest procés afegeix una capa addicional de complexitat en comparació amb la pèrdua de contrast.
Un enfocament ingenu per preparar les dades d'entrenament per a la pèrdua de triplets implica la selecció aleatòria de triplets del conjunt de dades. En general, el conjunt de triplets vàlids de la forma és molt gran. Per accelerar la convergència de l'entrenament, és essencial centrar-se en els triplets desafiants. Al document de FaceNet, es van explorar diverses opcions, i finalment es van arribar a les següents. Per a cada parell àncora-positiu, l'algoritme només considera negatius semi-durs. Aquests són negatius que infringeixen el requisit del triplet (és a dir, són "durs"), però que es troben més lluny de l'àncora que el positiu (no massa dur). Reposat, per a cadascun i , busquen tal que:
La raó d'aquesta elecció de disseny és heurístic. Pot semblar desconcertant que el procés d'extracció descuit els negatius "molt durs" (és a dir, més a prop de l'àncora que del positiu). Els experiments realitzats pels dissenyadors de FaceNet van trobar que això sovint condueix a una convergència per degenerar mínims locals.
La mineria de triplets es realitza a cada pas d'entrenament, des dels punts de mostra continguts en el lot d'entrenament (això es coneix com a mineria en línia), després de calcular les incrustacions per a tots els punts del lot. Tot i que idealment es podria utilitzar tot el conjunt de dades, això és poc pràctic en general. Per donar suport a un gran espai de cerca per a triplets, els autors de FaceNet van utilitzar lots molt grans (1800 mostres). Els lots es construeixen seleccionant un gran nombre de punts de mostra de la mateixa categoria (40) i els negatius seleccionats aleatòriament.
Extensions La pèrdua de triplets s'ha ampliat per mantenir simultàniament una sèrie d'ordres de distància optimitzant un grau de rellevància continu amb una cadena (és a dir, escala) de desigualtats de distància. Això condueix a Ladder Loss, que s'ha demostrat que ofereix millores de rendiment de la incrustació visual-semàntica per aprendre a classificar les tasques.
En el processament del llenguatge natural, la pèrdua de triplets és una de les funcions de pèrdua considerades per a l'ajustament BERT a l'arquitectura SBERT.
Altres extensions impliquen especificar diversos negatius (pèrdua de classificació de diversos negatius).
Referències
Categoria:Aprenentatge automàtic