Анализ независимых компонент (АНК, , ICA), называемый также Метод независимых компонент (МНК) — это вычислительный метод в обработке сигналов для разделения сигнала на аддитивные подкомпоненты. Этот метод применяется при предположении, что подкомпоненты являются негауссовыми сигналами и что они статистически независимы друг от друга. АНК является специальным случаем слепого разделения сигнала. Типичным примером приложения является задача вечеринки с коктейлем — когда люди на шумной вечеринке выделяют голос собеседника, несмотря на громкую музыку и шум людей в помещении: мозг способен фильтровать звуки и сосредотачиваться на одном источнике (голос визави) в реальном времени.
Введение
Анализ независимых компонент пытается разложить множественный сигнал на независимые негауссовые сигналы. Например звук обычно является сигналом, который состоит из сложения в каждый момент одиночных t-сигналов, идущих из нескольких источников. Вопрос заключается в том, возможно ли разделить эти источники, выделяя их из общего сигнала. Если допущение статистической независимости верно, слепое разделение независимых компонент смешанного сигнала даст очень хорошие результаты. Метод также применяется для анализа сигналов, которые могут быть и не смешанными.
Простым приложением АНК является «задача о шумной вечеринке», когда собеседники слышат друг друга, выделяя голос собеседника из общего сигнала, состоящего из шума одновременно говорящих людей в помещении и шумной улицы за окном. Обычно задача упрощается предположением, что задержка по времени или эхо отсутствуют. Заметим, что отфильтрованный и задержанный сигнал является копией зависимой компоненты, и тогда допущение статистической независимости не нарушено.
Важно также учитывать, что если представлено источников, нужно по меньшей мере наблюдений (например микрофонов, если наблюдаемый сигнал — аудио), чтобы обнаружить исходные сигналы. В этом случае матрица квадратна ( , где входная размерность данных, а — размерность модели). Иначе получаем и исследуем недоопределённый () или переопределённый () случай.
Метод АНК — разделение смешанных сигналов, базируется на двух допущениях и трёх эффектах источников смешанного сигнала, что даёт очень хорошие результаты. Двумя допущениями являются: Источники сигналов независимы друг от друга. Значения каждого источника сигнала имеют негауссово распределение. Тремя эффектами источника смешанного сигнала являются: Независимость: как в и допущении 1, источники сигналов независимы, однако их смесь не является независимой от источников, потому что смесь сигналов имеет одни и те же источники. Нормальность: согласно центральной предельной теореме, распределение суммы независимых случайных переменных с конечной дисперсией стремится к гауссовому распределению. Попросту говоря, сумма двух независимых случайных переменных обычно имеет распределение более близкое к гауссовому, чем любое из двух исходных случайных переменных. Здесь мы рассматриваем каждый сигнал как случайную переменную. Сложность: временна́я сложность любой смеси сигналов больше, чем сложность одного сигнала, более простого по его составляющим.
Эти принципы составляют базовые основы АНК. Если сигналы, которые нам удалось извлечь из смеси, независимы, подобно исходным сигналам, и имеют негауссовые гистограммы или имеют малую сложность, подобную сигналу источников, они должны быть сигналами источников.
Определение независимости компонент АНК находит независимые компоненты (которые называются факторами, скрытыми переменными или источниками) путём максимизации статистической независимости оцениваемых компонент. Можно выбрать один из многих путей для определения заменителя независимости, и этот выбор определит форму алгоритма АНК. Два наиболее широких определения независимости АНК:
Минимизация взаимной информации Максимизация негауссовости
Семейство алгоритмов АНК с минимизацией взаимной информации (, MMI) использует такие меры, как расхождение Кульбака — Лейблера и максимальная энтропия. Семейство алгоритмов АНК с максимизацией негауссовости использует коэффициент эксцесса и негэнтропию.
Типичным алгоритмам АНК свойственно использование следующих методов:
центрирование (вычитание среднего и создание нулевого среднего для сигнала); (обычно с помощью спектрального разложения матрицы); снижение размерности в качестве препроцессорных шагов для снижения сложности проблемы и создания действительного итеративного алгоритма.
Декорреляция и снижение размерности могут быть получены методом главных компонент или сингулярным разложением. Декорреляция обеспечивает методу такие условия, когда все размерности трактуются одинаково и установлены априори до прогона алгоритма. Хорошо известные алгоритмы для АНК: , , , и многие другие. В общем случае АНК не сможет определить действительное число источников сигналов, единственно правильный порядок или масштаб (включая знак) сигналов.
АНК важен для слепого разделения сигнала и имеет много практических приложений. Метод тесно связан с поиском (или даже является частным случаем поиска) данных, то есть нового векторного представления каждого вектора данных таким образом, чтобы он был однозначно закодирован результирующим кодовым вектором (кодирование без потерь), при этом компоненты кода статистически независимы.
Математическое определение Линейный анализ независимых компонент может быть разделён на случай без шумов и случай с шумами, где АНК без шумов является частым случаем АНК с шумом. Нелинейный АНК следует считать отдельным случаем.
Общее определение Данные представлены наблюдаемым случайным вектором , а скрытые компоненты случайным вектором . Задачей построения алгоритма является преобразование наблюдаемых данных с помощью статического преобразования в наблюдаемый вектор максимально независимых компонент , измеренных некоторой функцией независимости .
Генерирующая модель
Линейная АНК без шума Компоненты наблюдаемого случайного вектора генерируются как сумма независимых компонент , :
взвешенных весами .
Та же генерирующая модель может быть записана в векторном виде как , где наблюдаемый случайный вектор представлен базисными векторами . Базисные вектора образуют столбцы матрицы смешивания и генерирующая формула может быть записана как , где .
Если дана модель и реализации случайного вектора , задачей является оценка как матрицы смешивания , так и источников . Это делается путём адаптивного вычисления векторов и установления функции цены, которая либо максимизирует негауссовость вычисленного или минимизирует взаимную информацию. В некоторых случаях априорное знание распределения вероятности источников может быть использовано в функции цены.
Исходные источники могут быть извлечены путём умножения наблюдаемых сигналов на обратную к матрице смешивания , которая известна также как не смешивающая матрица. Здесь предполагается, что матрица смешивания квадратная (). Если число базисных векторов больше размерности наблюдаемых векторов , задача является переопределённой, но остаётся разрешимой с помощью псевдообратной матрицы.
Линейный АНК с шумом С добавочным предположением о нулевом среднем и не коррелирующим гауссовым шумом , модель АНК принимает форму .
Нелинейный АНК Смесь источников не обязательно должна быть линейной. Используя нелинейную функцию смешивания с параметрами нелинейной моделью АНК будет .
Различимость Независимые компоненты различимы с точностью до перестановки и масштабирования источников. Эта различимость требует, чтобы:
Максимум один из источников был гауссовым, Число наблюдаемых смесей должно быть не меньше числа компонент : . Это эквивалентно высказыванию, что матрица смеси должна иметь полный ранг, чтобы существовала обратная ей смесь.
Бинарный анализ независимых компонент Специальным вариантом АНК является Бинарный АНК, в котором как источники сигнала, так и мониторы имеют двоичную форму, а наблюдения от мониторов являются дизъюнктивной смесью бинарных независимых источников. Задача, как было показано, имеет приложения во многих областях, включая медицинскую диагностику, многокластерное назначение, и управление ресурсами интернета.
Пусть является набором бинарных переменных из мониторов и является набором бинарных переменных из источников. Связи источник-монитор представлены (неизвестной) смешанной матрицей , где указывает, что сигнал от i-го источника может наблюдаться j-м монитором. Система работает следующим образом: в любое время, если источник активен () и он связан с монитором (), то монитор будет наблюдать некоторую активность (). Формально мы имеем:
где является булевым И (), а является булевым ИЛИ (). Заметим, что шум не моделируется явно, а трактуется как независимые источники.
Описанная выше проблема может быть эвристически решена (при предположении, что переменные непрерывны) путём применения метода на бинарных наблюдаемых данных для получения смешанной матрицы (получены вещественные значения), затем применяем технику округления на для получения бинарных значений. Этот подход, как было показано, даёт крайне неточный результат.
Другим методом является использование динамического программирования — матрица рекурсивно разбивает наблюдения на подматрицы и алгоритм вывода прогоняется на этих подматрицах. Ключевое наблюдение, которое ведёт к этому алгоритму: подматрица матрицы , где соответствует несмещённой матрице наблюдений скрытых компонент, которые не имеют связи с -м монитором. Результаты экспериментов показывают, что этот подход точен при умеренном уровне шумов.
Аппарат обобщённой бинарной АНК вводит более широкое описание проблемы, которое не требует какого-либо знания о порождающей модели. Другими словами, этот метод пытается разложить источник на независимые компоненты (на столько, насколько возможно создать алгоритм без потери какой-либо информации) без предварительных допущений применения способа, при помощи которого он был получен. Хотя эта задача достаточно сложна, она может быть точно решена с помощью метода ветвей и границ или точно ограничена сверху умножением матрицы на вектор.
Методы слепого разделения сигнала
Поиск наилучшей проекции Смеси сигналов имеют тенденцию к получению гауссовой плотности вероятности, а сигналы источников имеют тенденцию к негауссовой плотности вероятности. Каждый источник сигнала может быть выделен из набора смесей сигналов путём вычисления скалярного произведения вектора весов и той смеси сигналов, на которой это скалярное произведение даёт ортогональную проекцию смеси сигналов. Следующая задача заключается в нахождении вектора весов. Один из методов — поиск наилучшей проекции.
Поиск наилучшей проекции ищет одну проекцию за шаг, при условии, что выделенный сигнал будет настолько негауссовым, насколько это возможно. Это контрастирует с АНК, который обычно выделяет M сигналов одновременно из M смесей сигналов, что требует оценки несмешивающей матрицы. Одним из практических преимуществ поиска наилучшей проекции над АНК является то, что может выделяться менее M сигналов, если требуется, где каждый источник сигнала выделяется из смеси M сигналов используя M-элементный вектор весов.
Мы можем использовать коэффициент эксцесса для извлечения сигнала с несколькими источниками путём нахождения правильных векторов весов с использованием поиска наилучшей проекции.
Коэффициент эксцесса плотности вероятности сигнала, для конечной выборки вычисляется как
где является выборочным средним выделенных сигналов. Константа 3 обеспечивает, чтобы гауссовы сигналы имели нулевой коэффициент эксцесса, супергауссовы сигналы имели положительный коэффициент эксцесса, а субгауссовы сигналы имели отрицательный коэффициент эксцесса. Знаменатель равен дисперсии и он обеспечивает, чтобы измеренный коэффициент эксцесса получал дисперсию сигнала. Целью поиска наилучшей проекции является максимизация коэффициента эксцесса и сделать выделенный сигнал настолько ненормальным, насколько возможно.