Фазовая корреляция — это подход к оценке относительного параллельного сдвига между двумя похожими изображениями (корреляция цифровых изображений) или другими отборами данных. Она широко применяется при регистрации изображений и основана на представлении данных, обычно вычисляемом с помощью быстрого преобразования Фурье. Этот термин относится, в частности, к подмножеству техник взаимной корреляции, которые выделяют фазовую информацию из представления взаимной коррелограммы в пространстве Фурье.

Пример Следующее изображение демонстрирует применение фазовой корреляции для определения относительного параллельного переноса между двумя изображениями, искажёнными независимым гауссовским шумом. Изображение было смещено на (20,23) пиксела. Соответственно, на фазово-корреляционном представлении отчётливо виден пик примерно в точке (20,23).

Метод Пусть даны два изображения и :

Применяем оконную функцию (например, ) к обоим изображениям для уменьшения краевых эффектов (это может быть необязательно в зависимости от свойств изображения). Затем вычисляем дискретное 2D преобразование Фурье обоих изображений.

Вычисляем , взяв комплексное сопряжение второго результата, поэлементно умножив преобразования Фурье и нормализовав результат поэлементно.

Здесь обозначает произведение Адамара (поэлементное произведение) и абсолютные значения также берутся поэлементно. В записи для каждого индекса :

Получаем нормализованную взаимную корреляцию с помощью обратного преобразования Фурье.

Определяем положение пика в .

Часто для оценки положения пика в кросс-коррелограмме до дробных значений используются методы интерполяции, несмотря на то, что данные дискретны, и эта процедура часто называется 'субпикселной регистрацией'. В технической литературе представлено большое разнообразие методов субпикселной интерполяции. Использовались распространённые методы интерполяции пиков, такие как параболическая интерполяция, а пакет компьютерного зрения OpenCV использует метод на основе барицентра, хотя эти методы, как правило, имеют более низкую точность по сравнению с более сложными методами.

Поскольку представление данных в виде Фурье уже вычислено, особенно удобно использовать теорему смещения с вещественными сдвигами, что, по сути, является интерполяцией с использованием синусоидальных базисных функций преобразования Фурье. Особенно популярный оценщик на основе преобразования Фурье представлен в работе Форооша с соавторами. В этом методе положение субпикселного пика аппроксимируется простой формулой, включающей значение пикселя пика и значения его ближайших соседей, где — значение пика, а — ближайший сосед в направлении x (предполагая, как и в большинстве подходов, что целочисленный сдвиг уже найден, и сравниваемые изображения отличаются только субпикселным сдвигом).

Метод Форооша с соавторами отличается высокой скоростью по сравнению с большинством других, хотя и не всегда обеспечивает максимальную точность. Некоторые подходы предполагают смещение пика в пространстве Фурье и используют нелинейную оптимизацию для максимизации пика коррелограммы. Однако эти методы, как правило, очень медленны, поскольку требуют выполнения обратного преобразования Фурье или его эквивалента в целевой функции.

Также существует возможность определять положение пика, анализируя фазовые характеристики в пространстве Фурье без обратного преобразования, как отметил Стоун. Эти методы обычно используют (, LLS) для подгонки фазовых углов к плоской модели. Длительное время вычисления фазовых углов является недостатком, но скорость иногда может быть сопоставима со скоростью метода Форооша с соавторами, что зависит от размера изображения. Часто эти методы выигрывают в скорости у итеративных нелинейных методов, требующих множества циклов вычислений очень медленных целевых функций.

Поскольку все методы вычисления субпикселных смещений по своей сути являются интерполяционными, эффективность конкретного метода зависит от того, насколько хорошо исходные данные соответствуют предположениям, заложенным в интерполятор. Этот факт также может ограничивать полезность высокой числовой точности алгоритма, поскольку неопределённость, связанная с выбором метода интерполяции, может превышать любую численную или аппроксимационную ошибку конкретного метода.

Методы субпикселного сдвига особенно чувствительны к шумам на изображениях, и полезность конкретного алгоритма определяется не только его скоростью и точностью, но и устойчивостью к определённым типам шумов, встречающихся в данной задаче.

Обоснование Метод основан на теореме сдвига.

Пусть два изображения, и , являются циклически сдвинутыми версиями друг друга:

(где изображения имеют размер ).

Тогда дискретные преобразования Фурье изображений будут сдвинуты относительно друг друга по фазе:

Можно вычислить нормализованный взаимный спектр мощности, чтобы исключить разницу фаз:

поскольку модуль мнимой экспонеты всегда равен единице, а фаза всегда равна нулю.

Обратное преобразование Фурье комплексной экспоненты является дельта-функцией, то есть одним пиком:

Этот результат мог быть получен путём прямого вычисления взаимной корреляции. Преимущество данного метода заключается в том, что дискретное преобразование Фурье и его обратное могут быть выполнены с использованием быстрого преобразования Фурье, которое значительно быстрее корреляции для больших изображений.

Преимущества В отличие от многих алгоритмов, работающих в пространственной области, метод фазовой корреляции устойчив к шумам, перекрытиям и другим дефектам, характерным для медицинских или спутниковых изображений.

Этот метод может быть расширен для определения различий в повороте и масштабе между двумя изображениями путём предварительного преобразования изображений в . Благодаря свойствам преобразования Фурье параметры поворота и масштаба могут быть определены инвариантно к сдвигу.

Ограничения

На практике более вероятно, что будет простым линейным сдвигом , а не циклическим, как предполагалось выше. В таких случаях не будет простой дельта-функцией, что снизит эффективность метода. В подобных ситуациях для уменьшения краевых эффектов следует использовать оконную функцию (например, Гауссиан или окно Тьюки) при выполнении преобразования Фурье, либо изображения следует дополнить нулями, чтобы краевые эффекты можно было игнорировать. Если изображения состоят из плоского фона, а все детали расположены вдали от краёв, то линейный сдвиг будет эквивалентен циклическому, и приведённый выше вывод будет полностью применим. Острота пика может быть повышена с помощью корреляции по краям или векторной корреляции.

Для периодических изображений (таких как шахматная доска или частокол), фазовая корреляция может давать неоднозначные результаты с несколькими пиками в выходных данных.

Приложения Фазовая корреляция является предпочтительным методом для преобразования телевизионных стандартов, поскольку она создаёт наименьшее количество артефактов.

См. также

Общие Взаимнокорреляционная функция

Телевидение Преобразование телевизионных стандартов

Примечания

Литература

Ссылки Using Matlab to perform normalized Взаимнокорреляционная функция on images

Категория:Компьютерное зрение