Глубокая сеть доверия (ГСД, ) — порождающая графическая модель, или один из типов глубинных нейронных сетей, состоящая из нескольких скрытых слоёв, в которых нейроны внутри одного слоя не связаны друг с другом, но связаны с нейронами соседнего слоя.
При обучении на обучающем наборе данных спонтанным образом ГСД может обучении реконструкции входов в вероятностной форме. Слои в этом случае выступают в роли детекторов признаков входов. По окончании обучения ГСД может быть обучена с учителем для осуществления классификацииHinton, G. E.; Osindero, S.; Teh, Y. W. (2006). .
ГСД можно рассматривать как композицию простых, спонтанных сетей, таких как ограниченные машины Больцмана (ОМБ) или автокодировщики, в которых скрытый слой каждой подсети служит видимым слоем для следующей. Это позволяет осуществить быструю послойную процедуру обучения без учителя, в которой относительное расхождение применяется к каждой подсети по очереди, начиная с первой пары слоёв (на видимый слой которой подается тренировочный набор примеров[en]).
Наблюдение, сделанное , учеником Джеффри Хинтона, говорит о том, что ГСД может быть обучена способом жадного послойного обучения, что стало одним из первых действенных алгоритмов глубинного обучения:6.
Алгоритм обучения Алгоритм тренировки ГСД работает следующим образом. Пусть будет матрицей входов, что рассматривается как набор признаков. Представить два нижних слоя (входной и первый скрытый) как ограниченную машину Больцмана (ОМБ). Обучить её на входных данных и получить матрицу её весовых коэффициентов , которая будет описывать связи между двумя нижними слоями сети. Пропустить через обученную машину Больцмана входные данные и получить данные скрытого слоя на выходе после активации узлов первого скрытого слоя. Повторять эту процедуру с для каждой следующей пары слоёв, пока не будут обучены два самых верхних слоя сети. Осуществить тонкую настройку всех параметров этой глубокой сети с сохранением логарифмического правдоподобия ГСД или с использованием обучения с учителем (после добавления дополнительных механизмов обучения для выполнения обученной сетью работы, например, линейно-сепарабельного классификатора).
См. также Байесовская сеть Глубинное обучение
Примечания
Ссылка (англ.) (англ.)
Категория:Нейронные сети Категория:Вероятностные модели