Ансамблевое обучение

Ансамблевое обучение — техника машинного обучения, использующая несколько обученных алгоритмов с целью получения лучшей , чем можно было бы получить от каждого алгоритма по отдельности. В отличие от статистического ансамбля в статистической механике, который обычно бесконечен, ансамбль моделей в машинном обучении состоит из конкретного конечного множества альтернативных моделей, но обычно допускает гораздо более гибкие структуры.

Алгоритмы обучения с учителем наиболее часто описываются как решение задачи поиска в пространстве гипотез подходящей гипотезы — позволяющей делать хорошие предсказания для конкретной задачи. Но поиск хорошей гипотезы может оказаться трудной задачей. Ансамбль использует комбинацию нескольких гипотез в надежде, что она окажется лучше, чем гипотезы по отдельности. Термин «ансамбль» обычно резервируется для методов, которые генерируют несколько гипотез с помощью одного и того же базового учителя. Более широкое понятие системы множественных классификаторов также использует несколько гипотез, но сгенерированных не с помощью одного и того же учителя.

Вычисление предсказания ансамбля обычно требует больше вычислительных ресурсов, чем предсказание одной модели, поэтому ансамбли можно рассматривать как способ улучшения результатов работы алгоритма обучения за счёт дополнительных вычислений. В ансамбле моделей обычно используются быстрые алгоритмы, такие как (например, случайные леса), хотя медленные алгоритмы могут получить также преимущества от техники сборки в ансамбль.

По аналогии, техника сборки в ансамбль используется также и в сценариях обучения без учителя, например, в или в выявлении аномалий.

Теория сборки в ансамбль Ансамбль сам по себе является алгоритмом обучения с учителем, поскольку он может быть тренирован и затем использован для осуществления предсказания. Тренированный ансамбль поэтому представляет одну гипотезу. Эта гипотеза, однако, не обязательно лежит в пространстве гипотез моделей, из которых она построена. Таким образом, ансамбли могут иметь большую гибкость в функциях, которые они могут представлять. Эта гибкость может, в теории, быстрее привести их к переобучению по тренировочным данным, чем могло быть в случае отдельной модели, но, на практике, некоторые техники сборки в ансамбль (особенно бэггинг) склонны уменьшить проблемы, связанные с переобучением на тренировочных данных.

Эмпирически ансамбли склонны давать результаты лучше, если имеется существенное отличие моделей. Многие ансамбли поэтому стараются повысить различие в моделях, которые они комбинируют. Хотя, возможно, неинтуитивные, более случайные алгоритмы (подобные случайным деревьям решений) могут быть использованы для получения более строгих ансамблей, чем продуманные алгоритмы (такие как деревья решений с уменьшением энтропии). Использование различных алгоритмов строгого обучения, однако, как было показано, более эффективно, чем использование техник, которые пытаются упростить модели с целью обеспечить большее различие.

Размер ансамбля В то время как число классификаторов в ансамбле имеет большое влияние на точность предсказания, имеется лишь ограниченное число статей, изучающих эту проблему. Определение априори размера ансамбля и скорости обработки больших потоков данных делает этот фактор особенно важным для онлайновых ансамблей классификаторов. Большинство статистических тестов было использовано для определения подходящего числа компонент. Относительно недавно теоретический фреймворк дал повод предположить, что имеется идеальное число классификаторов ансамбля, такое, что число классификаторов больше или меньше этого идеального числа приводит к ухудшению точности. Это называется «законом убывания отдачи в построении ансамбля». Этот теоретический фреймворк показывает, что использование числа независимых классификаторов, равного числу меток класса, даёт наибольшую точность.

Часто используемые типы ансамблей

Байесовский оптимальный классификатор Байесовский оптимальный классификатор — это техника классификации. Он представляет собой ансамбль всех гипотез данного пространства. В среднем ни один из ансамблей не мог превосходить его. Простой байесовский оптимальный классификатор — это версия, которая предполагает, что данные условно независимы от класса, и выполняет вычисления за более реальное время. Каждой гипотезе даётся голос, пропорциональный вероятности того, что тренировочные данные будут выбраны из системы, если гипотеза была бы верна. Для получения тренировочных данных конечного размера голос каждой гипотезы умножается на априорную вероятность такой гипотезы. Байесовский оптимальный классификатор можно выразить следующим равенством :

,

где предсказанный класс, является множеством всех возможных классов, является классом гипотез, относится к вероятности, а является тренировочными данными. Как ансамбль байесовский оптимальный классификатор представляет гипотезу, которая не обязательно принадлежит в . Гипотеза, представленная байесовским оптимальным классификатором, однако является оптимальной гипотезой в пространстве ансамблей (пространство всех возможных ансамблей, состоящих только из гипотез пространства ).

Формулу можно переписать с помощью теоремы Байеса, которая гласит, что постериорная вероятность пропорциональна априорной вероятности:

откуда

Бэггинг

Бутстрэп-агрегирование, часто сокращаемое до бэггинг, даёт каждой модели в ансамбле одинаковый вес. Чтобы поддерживать вариантность, бэггинг тренирует каждую модель в ансамбле с помощью случайно отобранного подмножества из тренировочного множества. Как пример, алгоритм «случайного леса» комбинирует случайные деревья решений с бэггингом, чтобы получить высокую точность классификации.

Бустинг

Бустинг строит ансамбль последовательными приращениями, обучая каждую новую модель на тех примерах, которые предыдущие модели классифицировали ошибочно. В некоторых случаях бустинг, как было показано, даёт лучшие результаты, чем бэггинг, но имеет тенденцию к переобучению на тренировочных данных. Наиболее частой реализацией бустинга является алгоритм AdaBoost, хотя некоторые исследования показывают, что более новые алгоритмы могут давать лучшие результаты.

Усреднение байесовских параметров Усреднение байесовских параметров (, BPA) — это техника сборки ансамбля, которая пытается аппроксимировать байесовский оптимальный классификатор путём семплинга из пространства гипотез и комбинирования их с помощью закона Байеса. В отличие от байесовского оптимального классификатора, байесовская модель усреднения может быть практически реализована. Гипотезы обычно отбираются с помощью техники Монте-Карло, такой как . Например, может быть использовано семплирование по Гиббсу для выборки гипотез, которые представляют распределение . Было показано, что при некоторых обстоятельствах, если гипотезы выбираются таким образом и усредняются согласно закону Байеса, эта техника имеет ожидаемую ошибку, которая ограничена удвоенной ожидаемой ошибки байесовского оптимального классификатора. Несмотря на теоретическую корректность этой техники, в ранних работах на основе экспериментальных данных было высказано предположение, что метод склонен к переобучению и ведёт себя хуже, чем простые техники сборки ансамбля, такие как бэггинг. Однако эти заключения были основаны на некорректной интерпретации функций байесовской модели усреднения при комбинации моделей. Кроме того, есть существенные преимущества в теории и практике БМУ. Недавние строгие доказательства показывают точность БМУ для выбора переменных и оценке при многомерных условиях и дают эмпирическое свидетельство существенной роли обеспечения разреженности в БМУ в смягчении переобучения.

Комбинация байесовских моделей Комбинация байесовских моделей (КБМ, , BMC) — это алгоритмическое исправление байесовской модели усреднения (БМУ, , BMA). Вместо выбора каждой модели в ансамбль индивидуально, алгоритм отбирает из пространства возможных ансамблей (с весами моделей, выбранных случайно из распределения Дирихле с однородными параметрами). Эта модификация позволяет избежать тенденцию БМУ отдать полный вес одной модели. Хотя КБМ вычислительно несколько более расточителен по сравнению с БМУ, он даёт существенно лучшие результаты. Результаты КБМ, как было показано, в среднем лучше, чем БМУ и бэггинг.

Использование закона Байеса для вычисления весов модели неизбежно влечёт вычисление вероятности данных для каждой модели. Обычно ни одна из моделей в ансамбле не имеет точно такое же распределение, что и тренировочные данные, из которых они сгенерированы, так что все члены корректно получают значение, близкое к нулю. Это хорошо бы работало, если бы ансамбль был достаточно большим для выборки из полного пространства моделей, но такое редко случается возможным. Следовательно, каждый представитель тренировочного набора вызывает вес ансамбля сдвигаться к модели в ансамбле, которая наиболее близка к распределению тренировочных данных. Это существенно уменьшает необходимость чрезмерно сложного метода выбора модели.

Возможные веса для ансамбля можно представить как лежащие на симплексе. На каждой вершине симплекса все веса задаются отдельной моделью ансамбля. БМУ сходится к вершине, которая ближе по распределению с тренировочными данными. Для контраста, КБМ сходится к точке, где это распределение проектируется в симплекс. Другими словами, вместо выбора одной модели, которая ближе всего к распределению, метод ищет комбинацию моделей, наиболее близкой к распределению.

Результаты БМУ можно часто аппроксимировать с помощью перекрёстной проверки для выбора модели из ведра моделей. Аналогично, результаты КБМ можно аппроксимировать с помощью перекрёстной проверки для выбора лучшей комбинации ансамблей из случайной выборки возможных весов.

Ведро моделей «Ведро моделей» () — это техника сбора ансамбля, в которой используется алгоритм выбора модели для получения лучшей модели для каждой задачи. Когда тестируется только одна задача, ведро моделей не может дать результат лучше, чем лучшая модель в наборе, однако при обработке нескольких задач алгоритм обычно демонстрирует более высокие результаты, чем любая модель в наборе.

Наиболее частый подход, используемый для выбора модели, — это перекрёстная выборка. Он описывается следующим псевдокодом:

Для каждой модели в ведре: Выполнить c раз: (где 'c' — некоторая константа) Случайным образом делим тренировочные данные на два набора: A и B. Тренируем m по A Проверяем m по B Выбираем модель, которая покажет высший средний результат

Перекрёстная выборка может быть описана как: «прогони все на тренировочном множестве и выбери тот, что работает лучше».

Выделение () является обобщением перекрёстной выборки. Метод вовлекает тренировку другой модели обучения для решения, какая из моделей в ведре больше подходит для решения задачи. Часто для выделения модели используется перцептрон. Он может быть использован либо для выбора «лучшей» модели, либо для получения линейного веса предсказаний от каждой модели в ведре.

Когда ведро моделей используется с большим набором задач, может быть желательным избежать тренировки некоторых моделей, которые требуют долгого времени тренировки. Ландмарк-обучение — это метаобучающий подход, который ищет решение этой задачи. Он вовлекает для тренировки только быстрые (но неточные) алгоритмы, а затем используется эффективность этих алгоритмов для определения, какой из медленных (но точных) алгоритмов выбрать как лучший.

Стогование