L'ipotesi della varietà postula che molti insiemi di dati ad alta dimensionalità del mondo reale giacciano in realtà su varietà latenti a bassa dimensionalità all'interno dello spazio ad alta dimensionalità. Come conseguenza di tale ipotesi, molti insiemi di dati che sembrano richiedere molte variabili per la loro descrizione, possono in realtà essere rappresentati usando un numero relativamente piccolo di variabili, legate al sistema di coordinate locale della varietà sottostante. Si suggerisce che questo principio sia alla base dell'efficacia degli algoritmi di apprendimento automatico nell'analisi di insiemi di dati ad alta dimensionalità prendendo in considerazione solo alcune caratteristiche comuni.
L'ipotesi della varietà è correlata all'efficacia delle tecniche di riduzione della dimensionalità non lineari nell'apprendimento automatico. Molti approcci di riduzione della dimensionalità, quali la modellazione (sculpting), l'allineamento e la regolarizzazione di varietà, si basano sul presupposto che i dati si trovino in una sotto-varietà a bassa dimensionalità,
Le principali implicazioni di questa ipotesi sono le sequenti:
I modelli di apprendimento automatico hanno bisogno di essere addestrati solo su sottospazi dei dati relativamente semplici, a bassa dimensionalità e altamente strutturati (varietà latenti) nello spazio di input originario. All'interno di una di tali varietà, è sempre possibile interpolare tra due input, vale a dire trasformare uno nell'altro attraverso un percorso continuo lungo il quale tutti i punti ricadono sulla varietà.
La capacità di interpolare fra esempi è fondamentale per la generalizzazione nell'apprendimento profondo.
Geometria dell'informazione delle varietà statistiche Una base empirica per l'ipotesi della varietà si fonda sulla sua corrispondenza con una teoria efficace per l'apprendimento di varietà che parte dal presupposto che un apprendimento robusto richieda la codifica del dataset di interesse tramite metodi di compressione dei dati. Tale prospettiva è emersa gradualmente grazie agli strumenti della geometria dell'informazione, frutto dello sforzo coordinato di scienziati che lavorano sull'ipotesi di codifica efficiente, sulla codifica predittiva e sui metodi bayesiani variazionali.
La tesi a sostegno dell'analisi della geometria dell'informazione nello spazio latente delle distribuzioni si basa sull'esistenza e l'unicità della metrica dell'informazione di Fisher. In questo contesto generale, si sta cercando di trovare un embedding stocastico di una varietà statistica. Dal punto di vista dei sistemi dinamici, nel regime dei big data questa varietà generalmente presenta alcune proprietà come lomeostasi:
Si possono campionare grandi quantità di dati dal processo generativo sottostante. Essendo gli esperimenti di apprendimento automatico riproducibili, le statistiche del processo di generazione mostrano stazionarietà.
In un certo senso, reso preciso dai neuroscienziati che lavorano sul principio dell'energia libera, la varietà statistica in questione possiede un Markov blanket.
Note
Bibliografia
Voci correlate Complessità di Kolmogorov Lunghezza minima della descrizione Riduzione della dimensionalità
Categoria:Apprendimento automatico