Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотез. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Определение Коэффициент Байеса является отношением правдоподобия для предельного правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативной.

Апостериорная вероятность модели , задаваемой данными , определяется теоремой Байеса:

Ключевой зависящий от данных член является правдоподобием модели с учётом данных и он представляет вероятность того, что некоторые данные получены в предположении принятия модели . Правильное вычисление этого члена является ключом байесовского сравнения моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных , относительная правдоподобность двух различных моделей и , параметризованных векторами параметров и , определяется коэффициентом Байеса , определяемым как

Если две модели априори одинаково вероятны, так что коэффициент Байеса равен отношению апостериорных вероятностей моделей и . Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, байесовское сравнение моделей не зависит от какого-либо конкретного набора параметров, так как оно вычисляется в результате интегрирования по всем параметрам в каждой модели (с учётом априорных вероятностей). Однако преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественным образом включают штраф за избыточное включение структуры модели. Это ограждает от переобучения. В случае моделей, у которых явный вид функции правдоподобия неизвестен или её вычисление слишком затратно, для байесовского выбора модели могут быть использованы , хотя следует принять во внимание, что приближённая байесовская оценка коэффициентов Байеса часто смещена.

Другие подходы: трактовать модель сравнения как задачу принятия решений, вычисляя ожидаемое значение или цену каждого выбора модели; использовать принцип сообщений минимальной длины (, MML).

Интерпретация Значение означает, что гипотеза сильнее поддерживается данными, чем гипотеза . Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («нулевая гипотеза»), и рассматривает только свидетельства против неё. Гарольд Джеффрис приводит таблицу для интерпретации полученного значения :

dHart битов Весомость доказательств

Второй столбец даёт соответствующие веса поддержки в единицах (известных также как ), биты добавлены в третьем столбце для ясности. Согласно И. Дж. Гуду, люди в повседневной жизни едва могут разумно оценить разницу в степени доверия гипотезе, соответствующую изменению веса на 1 децибан или 1/3 бита (например, отношение исходов 4:5 в 9 испытаниях с двумя возможными исходами).

Альтернативную широко цитируемую таблицу предложили Касс и Рафтери (1995):

Весомость доказательств

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид . Использование , например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Пример Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель , где вероятность успеха равна , и другую модель , в которой значение неизвестно, и мы принимаем в качестве априорного распределения для однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобие может быть вычислено согласно биномиальному распределению:

Тогда мы имеем для гипотезы

тогда как для

Отношение этих величин составляет 1,197…, следовательно, различие «едва заслуживает внимания», хотя выбор склоняется слегка в сторону .

Проверка этих статистических гипотез на основе (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза должна быть отброшена на уровне значимости 5 %, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при равна 0,0200, а получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5 %, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, такое, которое отражает ожидание, что числа успешных и неуспешных исходов будут одного порядка величины) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

В классическом тесте отношения правдоподобия была бы найдена оценка максимального правдоподобия для , равная , откуда

(вместо усреднения по всем возможным ). Это даёт отношение правдоподобия 0,1045 и указывает на гипотезу .

является более сложной моделью, чем , поскольку имеет свободный параметр, который позволяет описывать данные более согласованно. Способность коэффициентов Байеса учитывать это является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода.

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно . Модель имеет 1 параметр, а потому её значение AIC равно . Следовательно, с меньшей вероятностью минимизирует потерю информации, чем , примерно в раза. Таким образом, слегка предпочтительнее, но отбрасывать нельзя.

Приложение Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо -значения.

См. также Информационный критерий Акаике

Байесовский информационный критерий

Парадокс Линдли Сообщение минимальной длины Выбор модели Статистические показатели Отношение шансов Относительный риск

Примечания

Литература

Ссылка BayesFactor —an R package for computing Bayes factors in common research designs Bayes Factor Calculators —web-based version of much of the BayesFactor package

Категория:Выбор модели Категория:Статистические показатели Категория:Байесовский вывод