Laprenentatge profund (en anglès, deep learning) és una tècnica d'extracció i transformació de noves característiques del processament de la informació, les quals poden ser de forma supervisada o no. Són algoritmes que funcionen en un sistema per capes, simulant el funcionament bàsic del cervell que s'utilitza amb les neurones. És a dir, el conjunt de capes que forma el deep learning representen les neurones del cervell.
Aquest mètode va ser promogut als anys 80 per l'investigador japonès Kunihiko Fukushima, el qual va proposar un model neuronal entre cinc i sis capes nomenat neocognitró. Actualment la definició d'aprenentatge profund és un sinònim modern de les aplicacions de les xarxes neuronals. Hi ha molts sistemes actuals de reconeixement de veu, visió artificial i reconeixements d'imatges que utilitzen aquesta tecnologia.
Definicions Hi ha diverses definicions que ens permeten obtenir una idea més detallada del que engloba el concepte del Deep Learning.
Classe de tècniques del Machine Learning que busquen l'extracció i transformació de les característiques referents al processament de la informació, sigui de forma supervisada o no supervisada. Un camp contingut al Machine Learning que es basa en algoritmes per aprendre diversos nivells de representació buscant relacions complexes. Obtenint característiques d'alt nivell i baix nivell, jerarquitzant-les. Continuació: les característiques de baix nivell poden ajudar a definir les d'alt nivell. És a dir, tenir en compte que algunes representacions són millors que altres depenent de les tasques que vulguem assolir. Nova zona creada per tornar al Machine Learning un dels seus objectius: intel·ligència artificial. Buscant nivells d'abstracció que ens permeten donar sentit a les imatges, sons i text.
Resum La majoria dels models moderns d'aprenentatge profund es basen en xarxes neuronals artificials, específicament xarxa neuronal convolucional (CNN), encara que també poden incloure fórmules proposicionals o variables latents organitzades en models generatius profunds, com els nodes en xarxes de creences profundes i màquines Boltzmann.
En l'aprenentatge profund, cada nivell aprèn a transformar les seves dades d'entrada en una representació lleugerament més abstracta i composta. En una aplicació de reconeixement d'imatges, l'entrada en brut pot ser una matriu de píxels; la primera capa representativa pot absorbir els píxels i codificar les vores; la segona capa pot compondre i codificar els arranjaments de les vores; la tercera capa pot codificar un nas i ulls; i la quarta capa pot reconèixer que la imatge conté una cara. És important destacar que un procés d'aprenentatge profund pot aprendre quines característiques té per a situar-se de manera òptima en quin nivell. Això no elimina la necessitat d'un afinament manual; per exemple, els diferents nombres de capes i mides de les capes poden proporcionar diferents graus d'abstracció.
La paraula profund en aprenentatge profund es refereix al nombre de capes a través de les quals es transformen les dades. Més precisament, els sistemes d'aprenentatge profund tenen una profunditat substancial de la ruta de l'assignació de crèdit (PAC). La PAC és la cadena de transformacions de l'entrada a la sortida. Els PAC descriuen les connexions potencialment causals entre entrada i sortida. Per a una xarxa neuronal, la profunditat de les capes cap endavant és la de la xarxa i és el nombre de capes ocultes més una capa extra (ja que la capa de sortida també està parametritzada). Per a xarxes neuronals recurrents, en les quals un senyal pot propagar-se a través d'una capa més d'una vegada, la profunditat de la CAP és potencialment il·limitada. No hi ha un llindar de profunditat acordat, universalment divideix l'aprenentatge superficial de l'aprenentatge profund, però la majoria dels investigadors estan d'acord que l'aprenentatge profund implica una profunditat de la CAP més alta que 2. S'ha demostrat que la capa de profunditat 2 és un aproximador universal en el sentit que pot emular qualsevol funció. Més enllà d'això, més capes no afegeixen a la capacitat de l'aproximador de funcions de la xarxa. Els models profunds (CAP . 2) són capaços d'extreure millors característiques que els models superficials i, per tant, les capes addicionals ajuden a aprendre les característiques de manera efectiva.
Les arquitectures d'aprenentatge profund es poden construir amb un mètode de capa a capa cobdiciós. L'aprenentatge profund ajuda a desentranyar aquestes abstraccions i triar quines característiques milloren el rendiment.
Per a les tasques d'aprenentatge supervisat, els mètodes d'aprenentatge profund eliminen l'enginyeria de funcions, traduint les dades en representacions intermèdies compactes similars als components principals, i deriven estructures en capes que eliminen la redundància en la representació.
Els algoritmes d'aprenentatge profund es poden aplicar a tasques d'aprenentatge no supervisades. Es tracta d'un benefici important perquè les dades no etiquetades són més abundants que les dades etiquetades. Exemples d'estructures profundes que es poden formar de manera no supervisada són xarxes de creences profundes.
Interpretacions Les xarxes neuronals profundes s'interpreten generalment en termes del teorema d'aproximació universal o inferència probabilística.
El teorema d'aproximació universal clàssic es refereix a la capacitat de xarxes neuronals amb una sola capa oculta de mida finita per aproximar funcions contínues. El 1989, la primera demostració va ser publicada per George Cybenko per a funcions d'activació sigmoide i es va generalitzar per a arquitectures multicapa sigmoide el 1991 per Kurt Hornik. Els treballs recents també van mostrar que l'aproximació universal també es compleix per a funcions d'activació no fitades com la unitat lineal rectificada.
El teorema d'aproximació universal de les xarxes neuronals profundes es refereix a la capacitat de les xarxes amb amplada limitada, però la profunditat pot créixer. Lu et al. va demostrar que si l'amplada d'una xarxa neuronal profunda amb activació de ReLU és estrictament més gran que la dimensió d'entrada, doncs la xarxa pot aproximar qualsevol funció integral de Lebesgue; en canvi si l'amplada és més petita o igual a la dimensió d'entrada, doncs una xarxa neuronal profunda no és un aproximador universal.
La interpretació probabilística deriva del camp de l'aprenentatge automàtic. Té inferència, així com els conceptes d'optimització de la formació i les proves, relacionats amb l'ajust i la generalització, respectivament. Més específicament, la interpretació probabilística considera la no linealitat d'activació com una funció de distribució acumulada. La interpretació probabilística va portar a la introducció de la sortida com a regularitzador en les xarxes neuronals. La interpretació probabilística va ser introduïda per investigadors com Hopfield, Widrow i Narendra i popularitzada en enquestes com la de Bishop.
Història Algunes fonts assenyalen que Frank Rosenblatt va desenvolupar i explorar tots els ingredients bàsics dels sistemes d'aprenentatge profund d'avui. El va descriure en el seu llibre Principis de Neurodinàmica: Perceptrons i la Teoria dels Mecanismes Brain, publicat per Cornell Aeronautical Laboratory, Inc., Universitat Cornell el 1962.
El primer algorisme general d'aprenentatge de treball per a perceptrons supervisats, profunds i amb múltiples capes va ser publicat per Alexey Ivakhnenko i Lapa el 1967 va descriure una xarxa profunda amb vuit capes entrenades pel mètode de grup de manipulació de dades. Altres arquitectures de treball d'aprenentatge profund, específicament les construïdes per a visió informàtica, van començar amb el Neocognitron introduït per Kunihiko Fukushima el 1980.
El terme Aprenentatge Profund va ser introduït a la comunitat d'aprenentatge de màquines per Rina Dechter el 1986, i a les xarxes neuronals artificials per Igor Aizenberg i col·laboradors el 2000, en el context de les neurones del llindar booleà.
El 1989, Yann LeCun et al. va aplicar l'algorisme estàndard de retropropagació, que havia estat al voltant com el mode invers de la diferenciació automàtica des de 1970, a una xarxa neuronal profunda amb el propòsit de reconèixer codis postals escrits a mà en el correu. Mentre que l'algorisme funcionava, l'entrenament requeria 3 dies.
El 1994, André de Carvalho, juntament amb Mike Fairhurst i David Bisset, van publicar els resultats experimentals d'una xarxa neuronal booleana multicapa, també coneguda com una xarxa neuronal sense pes, composta per un mòdul de xarxa neuronal d'extracció de característiques de 3 capes (SOFT) seguit per un mòdul de xarxa neuronal de classificació multicapa (GSN), que van ser entrenats de forma independent. Cada capa en el mòdul d'extracció de característiques extreu característiques amb una complexitat creixent respecte a la capa anterior.
El 1995, Brendan Frey va demostrar que era possible entrenar (més de dos dies) una xarxa que contenia sis capes totalment connectades i diversos centenars d'unitats ocultes utilitzant l'algorisme d'activació-dormit, codesenvolupat amb Peter Dayan i Hinton. Molts factors contribueixen a la velocitat lenta, inclòs el problema del gradient de fuga analitzat el 1991 per Sepp Hochreiter.
Des de 1997, Sven Behnke va estendre l'enfocament convolucional jeràrquic de l'abstracció neuronal Pyramid per connexions laterals i endarrerides amb la finalitat d'incorporar de manera flexible el context a les decisions i resoldre iterativament les ambigüitats locals.
Els models més senzills que utilitzen característiques artesanals específiques de la tasca com filtres de Gabor i màquines vectorials de suport (SVM) van ser una elecció popular en els anys 90 i 2000, a causa del cost computacional de la xarxa neuronal artificial (ANN) i la manca de comprensió de com el cervell filtra les seves xarxes biològiques. miniatura|alt=Com l'aprenentatge profund és un subconjunt de l'aprenentatge automàtic i com l'aprenentatge automàtic és un subconjunt de la intel·ligència artificial (IA).|Com l'aprenentatge profund és un subconjunt de l'aprenentatge automàtic i com l'aprenentatge automàtic és un subconjunt de la intel·ligència artificial (IA). S'han explorat tant l'aprenentatge superficial com l'aprenentatge profund (per exemple, les xarxes recurrents) d'ANN durant molts anys. Aquests mètodes mai van superar la tecnologia de mescla gaussiana no uniforme (per exemple, el model de barreja gaussiana gaussiana / el model de barreja de Gauss / el Model ocult de Màrkov (GMM-HMM) basat en models generatius de parla amb discriminació. S'han analitzat les dificultats clau gradient, incloent la disminució del gradient i una feble estructura de correlació temporal en els models predictius neuronals. Les dificultats addicionals van ser la manca de dades d'entrenament i la capacitat de computació limitada.
La majoria dels investigadors de reconeixement de la parla es van allunyar de les xarxes neuronals per seguir el modelatge generatiu. Una excepció va ser a SRI International a finals de la dècada de 1990. Fundat per la NSA i DARPA del govern dels Estats Units, SRI va estudiar xarxes neuronals profundes en el reconeixement de la parla i l'altaveu. L'equip de reconeixement d'altaveus liderat per Larry Heck va reportar un èxit significatiu amb xarxes neuronals profundes en el processament de la parla a l'Institut Nacional d'Estàndards i Tecnologia d'Avaluació d'Oportunitats. La xarxa neuronal profunda de SRI es va desplegar llavors en el Verificador de Nuance, representant la primera aplicació industrial important d'aprenentatge profund.