La interpretabilitat mecanística (sovint abreujada com a interp. mecànica o MI) és un subcamp de recerca dins de la intel·ligència artificial explicable que busca aplicar enginyeria inversa completa a les xarxes neuronals (similar a l'enginyeria inversa d'un binari compilat d'un programa informàtic), amb l'objectiu final de comprendre els mecanismes subjacents als seus càlculs. El camp se centra especialment en els models de llenguatge grans.
Història Generalment s'atribueix a Chris Olah l'encunyació del terme "interpretabilitat mecanicista" i l'encapçalament del desenvolupament inicial d'aquest camp. A l'article del 2018 The Building Blocks of Interpretability, Olah (aleshores a Google Brain) i els seus col·legues van combinar tècniques d'interpretabilitat existents, com ara la visualització de característiques, la reducció de la dimensionalitat i l'atribució amb mètodes d'interfície humà-ordinador per explorar les característiques representades per les neurones del model de visió Inception v1. A l'article del març del 2020 Zoom In: An Introduction to Circuits, Olah i l'equip d'OpenAI Clarity van descriure "un enfocament inspirat en la neurociència o la biologia cel·lular", plantejant la hipòtesi que les característiques, com les cèl·lules individuals, són la base del càlcul de les xarxes neuronals i es connecten per formar circuits, que es poden entendre com a "subgrafs d'una xarxa". En aquest article, els autors van descriure la seva línia de treball com la comprensió de les "implementacions mecanicistes de les neurones en termes dels seus pesos".
El 2021, Chris Olah va cofundar l'empresa Anthropic i va establir el seu equip d'Interpretabilitat, que publica els seus resultats al Transformer Circuits Thread. El desembre de 2021, l'equip va publicar A Mathematical Framework for Transformer Circuits, aplicant enginyeria inversa a un transformador de joguina amb una i dues capes d'atenció. Cal destacar que van descobrir l'algoritme complet dels circuits d'inducció, responsable de l'aprenentatge en context de seqüències de fitxes repetides. L'equip va elaborar més aquest resultat a l'article del març de 2022 In-context Learning and Induction Heads.
Entre els resultats notables en la interpretabilitat mecanística del 2022 s'inclouen la teoria de la superposició, en què un model representa més característiques que direccions hi ha al seu espai de representació; una explicació mecanística del grokking, el fenomen en què la pèrdua del conjunt de proves comença a decaure només després d'un retard relatiu a la pèrdua del conjunt d'entrenament; i la introducció d'autocodificadors dispersos, un mètode d'aprenentatge de diccionaris dispersos per extreure característiques interpretables dels LLM.
La interpretabilitat mecanística ha generat un interès, talent i finançament significatius a la comunitat de seguretat de la IA. El 2021, Open Philanthropy va sol·licitar propostes que avencessin la "comprensió mecanística de les xarxes neuronals" juntament amb altres projectes destinats a reduir els riscos dels sistemes d'IA avançats. El tema d'interpretabilitat a la sol·licitud de propostes va ser escrit per Chris Olah. El programa ML Alignment & Theory Scholars (MATS), un seminari de recerca centrat en l'alineació de la IA, ha donat suport històricament a nombrosos projectes d'interpretabilitat mecanística. A la seva cohort de l'estiu del 2023, per exemple, el 20% dels projectes de recerca van ser sobre interpretabilitat mecanística.
Moltes organitzacions i grups de recerca treballen en la interpretabilitat mecanística, sovint amb l'objectiu declarat de millorar la seguretat de la IA. Max Tegmark dirigeix el Tegmark AI Safety Group al MIT, que se centra en la interpretabilitat mecanística. El febrer de 2023, Neel Nanda va iniciar l'equip d'interpretabilitat mecanística a Google DeepMind. Apollo Research, una organització d'avaluació d'IA centrada en la investigació de la interpretabilitat, es va fundar el maig de 2023. EleutherAI ha publicat múltiples articles sobre interpretabilitat. Goodfire, una startup d'interpretabilitat d'IA, es va fundar el 2024.
La interpretabilitat mecanística ha ampliat enormement el seu abast, els seus professionals i la seva atenció a la comunitat d'aprenentatge automàtic en els darrers anys. El juliol de 2024 es va celebrar el primer taller d'interpretabilitat mecanística de l'ICML, amb l'objectiu de reunir "fils de treball separats a la indústria i al món acadèmic". El novembre de 2024, Chris Olah va parlar sobre la interpretabilitat mecanística al podcast de Lex Fridman com a part de l'equip d'Anthropic.
Definició El terme interpretabilitat mecanicista designa tant una classe de mètodes tècnics com una comunitat de recerca. A Chris Olah se li atribueix normalment l'encunyació del terme "interpretabilitat mecanicista". La seva motivació va ser diferenciar aquest enfocament naixent de la interpretabilitat dels enfocaments establerts basats en mapes de prominència que en aquell moment dominaven la visió per computador.
Les explicacions de camp de l'objectiu de la interpretabilitat mecanicista fan una analogia amb els programes informàtics d'enginyeria inversa, amb l'argument que, en lloc de ser funcions arbitràries, les xarxes neuronals representen mecanismes independents que es poden aplicar enginyeria inversa i que es comprimeixen en els pesos.
La interpretabilitat mecanística busca aplicar enginyeria inversa a les xarxes neuronals, de manera similar a com es podria aplicar enginyeria inversa a un programa informàtic binari compilat.
Un enfocament emergent per comprendre els aspectes interns de les xarxes neuronals és la interpretabilitat mecanicista: aplicar enginyeria inversa als algoritmes implementats per les xarxes neuronals per convertir-los en mecanismes comprensibles per als humans, sovint examinant els pesos i les activacions de les xarxes neuronals per identificar circuits [Cammarata et al., 2020, Elhage et al., 2021] que implementen comportaments particulars.
El desenvolupament inicial de la interpretabilitat mecanística va tenir les seves arrels en la comunitat de seguretat de la IA, tot i que el terme s'està adoptant cada cop més en el món acadèmic. A " Mechanistic? ", Saphra i Wiegreffe identifiquen quatre sentits d'"interpretabilitat mecanística":
Conceptes clau Hipòtesi de representació lineal miniatura|Les incrustacions simples de paraules mostren una representació lineal de la semàntica. La relació entre un país i la seva capital es codifica en una direcció lineal a l'exemple anterior. La hipòtesi de la representació lineal (LRH) postula que els conceptes d'alt nivell es representen com a representacions lineals en l'espai d'activació de la xarxa neuronal. Aquesta és una suposició que ha estat recolzada per una creixent evidència empírica, començant amb els primers treballs sobre la incrustació de paraules, així com investigacions més recents sobre la interpretabilitat mecanicista.
La formalització d'aquesta suposició varia a la literatura. Olah i Jermyn permeten representacions lineals de rang superior (és a dir, no necessàriament de rang 1 com en treballs anteriors) i proposen dues propietats clau d'aquestes representacions: (i) la composició de característiques es representa mitjançant la suma, i (ii) la intensitat d'un concepte es representa mitjançant la seva magnitud.
S'han trobat contraexemples a l'LRH, fins i tot tal com s'ha formalitzat anteriorment, cosa que suggereix que només es compleix per a algunes característiques en alguns models. Per exemple, la semàntica de les direccions de les característiques no és invariant a l'escala, tant empíricament com teòricament, en xarxes neuronals no lineals, cosa que dona suport a una visió afí (no direccional) de les característiques a través de la lent politòpica. Una manifestació clara d'això són les "representacions de ceba" en algunes RNN entrenades en una tasca de còpia de seqüències, on la semàntica d'una característica varia amb la seva escala.
Superposició La superposició és el fenomen en què moltes característiques no relacionades s'"empaquetaven" en el mateix subespai o fins i tot en neurones individuals, fent que una xarxa sigui altament sobrecompleta però que encara es pugui descodificar linealment després del filtratge no lineal. Anàlisis formals recents vinculen la quantitat de polisemanticitat amb la "capacitat" de les característiques i la dispersió d'entrada, predient quan les neurones es tornen monosemàntiques o romanen polisemàntiques.
Mètodes Sondeig La sondació implica l'entrenament d'un classificador lineal sobre activacions de models per comprovar si una característica és descodificable linealment en una capa o subconjunt de neurones determinat. Generalment, una sonda lineal s'entrena en un conjunt de dades etiquetat que codifica la característica desitjada. Tot i que les sondes lineals són populars entre els investigadors d'interpretabilitat mecanicista, la seva introducció data del 2016 i s'ha utilitzat àmpliament a la comunitat de PNL.
Diferència de mitjanes La diferència en mitjanes, o diff-in-means, construeix un vector de direcció restant l'activació mitjana per a una classe d'exemples de la mitjana per a una altra. A diferència de les sondes apreses, la diferència en mitjanes no té paràmetres entrenables i sovint generalitza millor fora de la distribució. La diferència en mitjanes s'ha utilitzat per aïllar la representació del model per a rebuig/compliment, veritable/fals i sentiment.
Direcció L'adreça afegeix o resta una direcció (sovint obtinguda mitjançant sondeig, diff-in-means o K-means) del flux residual per canviar causalment el comportament del model.
Atribució Mentre que mètodes com el sondeig permeten la comprensió correlacional dels components i representacions interns del model, la veritable enginyeria inversa requereix comprendre el paper causal dels components interns del model. En tractar les xarxes neuronals com a models causals, les intervencions causals (formalitzades en el do-càlcul de Judea Pearl) permeten respondre aquesta pregunta.
En termes generals, donat un model , una entrada neta , una entrada corrupta , i un subcomponent d'interès , una intervenció causal substitueix la representació de sortida corrupta de amb el de l'entrada neta, resultant en una sortida intervinguda Si el subcomponent és causalment rellevant per al càlcul de , aleshores aquesta intervenció hauria de restaurar la sortida neta. S'han estudiat diverses configuracions de conjunts de dades, mètriques d'avaluació i granularitats de subcomponents del model mitjançant aquest mètode.
S'han proposat diverses tècniques d'intervenció causal per a la interpretabilitat mecanicista, incloent-hi l'anàlisi de mediació causal, la intervenció d'intercanvi (com a part de la teoria formal de l'abstracció causal), la depuració causal i l'aplicació de pegats d'activació. Totes aquestes implementen la mateixa idea general descrita anteriorment.
Les intervencions causals també es poden aplicar a les arestes del graf computacional. Això permet provar com els components comuniquen la informació. El depuració causal, posteriorment formalitzada com a pegat de camins aplica l'arboració al graf computacional, donant lloc a una còpia de cada component per a cadascun dels seus camins cap a la sortida, i realitza intervencions causals estàndard només en algunes còpies del component d'interès.
Referències
Categoria:Aprenentatge automàtic