Мініміза́ція структу́рного ри́зику (МСР, ) — це індуктивний принцип, який використовують у машинному навчанні. Зазвичай у машинному навчанні узагальнену модель необхідно обрати на основі скінченного набору даних, унаслідок чого виникає проблема перенавчання — модель стає занадто підігнаною до особливостей тренувального набору й погано узагальнюється на нові дані. Принцип МСР розв'язує цю проблему, забезпечуючи баланс між складністю моделі та успішністю її допасовування до тренувальних даних. Цей принцип уперше було викладено в книзі 1974 року Володимиром Вапником та ; у ньому використовують ВЧ-розмірність.
На практиці мінімізацію структурного ризику втілюють мінімізуванням , де — похибка на тренувальних даних, функцію називають функцією регуляризації, а — стала. обирають так, щоби вона набувала великих значень для параметрів , які належать до підмножин простору параметрів із високою ємністю. Мінімізування фактично обмежує ємність доступних підмножин простору параметрів, тим самим керуючи компромісом між мінімізуванням похибки на тренувальних даних і мінімізуванням очікуваного розриву між похибкою на тренувальних і випробувальних даних.
Задачу МСР можна сформулювати в термінах даних. Нехай задано точок даних, що складаються з даних і міток ; тоді цільову функцію часто записують у такому вигляді:
Перший член — це член середньоквадратичної похибки (СКП) між значенням навченої моделі і заданими мітками . Цей член є похибкою на тренувальних даних , розглянутою вище. Другий член задає апріорний розподіл ваг, щоби сприяти розрідженості та штрафувати великі значення ваг. Коефіцієнт компромісу є гіперпараметром, який визначає більшу чи меншу вагу члена регуляризації. Більше значення сприяє розрідженішим вагам ціною більшої СКП, тоді як менше значення послаблює регуляризацію, даючи моделі змогу краще допасовуватися до даних. Зауважте, що за ваги прямують до нуля, а за модель зазвичай зазнає перенавчання.
Див. також Теорія Вапника — Червоненкіса Опорновекторні машини Обирання моделі
Мінімізація емпіричного ризику Гребенева регресія Регуляризація (математика)
Примітки
Посилання