Регистрация изображения — это процесс преобразования различных наборов данных в одну систему координат. Данными могут быть несколько фотографий, информация от разных датчиков, из разных временны́х промежутков, глубин или точек обзора. Этот метод применяется в компьютерном зрении, медицинской визуализации, автоматическом распознавании целей в военной сфере, а также при составлении и анализе изображений и данных со спутников. Регистрация необходима для сравнения или интеграции данных, полученных в результате этих различных измерений.
Классификация алгоритмов
На основе интенсивности / на основе признаков
Алгоритмы регистрации или выравнивания изображений можно разделить на методы, опирающиеся на интенсивность или методы, основанные на признаках. Одно из изображений называется целевым, фиксированным или сенсорным, а остальные — движущимися или исходными. Регистрация изображения включает пространственное преобразование исходного(ых) движущегося(их) изображения(й) для выравнивания с целевым изображением. Система отсчёта в целевом изображении является стационарной, в то время как другие наборы данных преобразуются для соответствия целевому. Методы, основанные на интенсивности, сравнивают фигуры (образы) в изображении с помощью метрик корреляции, в то время как методы, основанные на признаках, находят между признаками изображения, такими как точки, линии и контуры. Методы, основанные на интенсивности, регистрируют целые изображения или их части. Если регистрируются части изображений, центры соответствующих частей рассматриваются как соответствующие точки признаков. Методы, основанные на признаках, устанавливают соответствие между несколькими особенно отличительными точками на изображениях. Зная соответствие между несколькими точками на изображениях, определяется геометрическое преобразование для отображения целевого изображения на эталонные изображения, тем самым устанавливая попиксельное соответствие между эталонным и целевым изображениями. Также были разработаны методы, сочетающие информацию, основанную на интенсивности, и информацию, основанную на признаках.
Модели преобразований
Алгоритмы регистрации изображений могут также быть классифицированы по моделям преобразований, которые они используют для установления связи между пространством целевого изображения и пространством эталонного изображения. Первая широкая категория моделей преобразований включает аффинные преобразования, к которым относятся вращение, масштабирование, сдвиг и косой сдвиг. Аффинные преобразования носят глобальный характер, поэтому они не могут моделировать локальные геометрические различия между изображениями..
Вторая категория преобразований допускает 'эластичные' или 'нежёсткие' преобразования. Эти преобразования способны локально деформировать целевое изображение для выравнивания с эталонным изображением. Нежёсткие преобразования включают радиально-базисные функции ( или поверхностные сплайны, мультиквадтратичные функции, и преобразования с компактным носителем), модели физического континуума (вязкие жидкости) и модели больших деформаций (диффеоморфизмы).
Преобразования обычно описываются параметризацией, где модель определяет количество параметров. Например, сдвиг всего изображения может быть описан параметром вектора сдвига. Такие модели называются параметрическими. Непараметрические модели, напротив, не следуют какой-либо параметризации, позволяя каждому элементу изображения смещаться произвольно.
Существует ряд программ, реализующих как оценку, так и применение поля деформации. К ним относятся частично и .
Преобразования координат через закон композиции функций, а не сложения Альтернативно, многие передовые методы пространственной нормализации основаны на сохраняющих структуру преобразованиях — гомеоморфизмах и диффеоморфизмах, поскольку они плавно переносят гладкие подмногообразия в процессе преобразования. Диффеоморфизмы генерируются в современной области на основе потоков, поскольку диффеоморфизмы не являются аддитивными, хотя они и образуют группу по закону композиции функций. По этой причине потоки, обобщающие идеи аддитивных групп, позволяют генерировать большие деформации, сохраняющие топологию, обеспечивая взаимно однозначные и сюръективные преобразования. Вычислительные методы для генерации таких преобразований часто называют , которые предоставляют потоки диффеоморфизмов как основной вычислительный инструмент для соединения систем координат, соответствующих .
Существует ряд программ, которые генерируют диффеоморфные преобразования координат посредством , включая MRI Studio и MRI Cloud.org
Пространственные методы против методов в частотной области
Пространственные методы работают в области изображений, сопоставляя закономерности интенсивности или признаки на изображениях. Некоторые алгоритмы сопоставления признаков являются развитием традиционных методов ручной регистрации изображений, при которых оператор выбирает соответствующие точки интереса на изображениях. Когда количество контрольных точек превышает минимально необходимое для определения соответствующей модели преобразования, итеративные алгоритмы, такие как RANSAC, могут использоваться для надёжной оценки параметров определённого типа преобразования (например, аффинного) для регистрации изображений.
Методы, работающие в частотной области, определяют параметры преобразования для совмещения изображений, оперируя в пространстве преобразований. Эти методы подходят для простых преобразований, таких как сдвиг, поворот и масштабирование. Применение метода фазовой корреляции паре изображений даёт третье изображение с одним пиком. Положение этого пика указывает на относительный сдвиг между изображениями. В отличие от многих алгоритмов, работающих в пространственной области, метод фазовой корреляции устойчив к шуму, перекрытиям и другим дефектам, характерным для медицинских или спутниковых изображений. Кроме того, фазовая корреляция использует быстрое преобразование Фурье для вычисления взаимной корреляции между двумя изображениями, что обычно приводит к значительному увеличению производительности. Метод можно расширить для определения различий в повороте и масштабе между двумя изображениями, предварительно преобразовав их в . Благодаря свойствам преобразования Фурье параметры поворота и масштаба могут быть определены независимо от сдвига.
Методы одно- и мультимодальной регистрации
Ещё одна классификация может быть сделана между одномодальными и мультимодальными методами. Одномодальные методы обычно совмещают изображения одной модальности, полученные одним и тем же типом сканера/датчика, тогда как мультимодальные методы регистрации предназначены для совмещения изображений, полученных различными типами сканеров/датчиков.
Мультимодальные методы регистрации часто используются в медицинской визуализации, поскольку изображения одного и того же объекта часто получают с разных сканеров. Примеры включают совмещение КТ/МРТ изображений мозга или ПЭТ/КТ изображений всего тела для локализации опухолей, совмещение КТ изображений с контрастным усилением и без него, для сегментации определённых частей анатомии, а также совмещение ультразвуковых и КТ изображений для локализации предстательной железы в лучевой терапии.
Автоматические и интерактивные методы
Методы регистрации изображений можно классифицировать по уровню автоматизации, которую они обеспечивают. Были разработаны ручные, интерактивные, полуавтоматические и автоматические методы. Ручные методы предоставляют инструменты для ручного совмещения изображений. Интерактивные методы уменьшают предвзятость пользователя, выполняя некоторые ключевые операции автоматически, но при этом полагаются на пользователя для управления процессом регистрации. Полуавтоматические методы автоматически выполняют больше шагов регистрации, но требуют от пользователя проверки правильности полученного результата. Автоматические методы не допускают никакого взаимодействия с пользователем и выполняют все шаги регистрации автоматически.
Меры сходства для регистрации изображений
Меры сходства изображений широко используются в медицинской визуализации. Мера сходства изображений количественно определяет степень сходства между паттернами интенсивности в двух изображениях. Выбор меры сходства изображений зависит от восприимчимости регистрируемых изображений. К распространённым примерам мер сходства относятся взаимнокорреляционная функция, взаимная информация, сумма квадратов разностей интенсивностей и однородность отношения изображений. Взаимная информация и нормализованная взаимная информация являются наиболее популярными мерами сходства изображений для регистрации изображений разной восприимчимости. Кросс-корреляция, сумма квадратов разностей интенсивностей и однородность отношения изображений обычно используются для регистрации изображений одной модальности (восприимчимости).
В области появилось множество новых признаков для критерия качества, основанных на , включая , представляющих собой наборы точек или ориентиры без соответствия, и с использованием математических потоков и многообразий.
Неопределённость Имеется некоторая степень неопределённости, связанная с регистрацией изображений, имеющих пространственно-временны́е различия. Уверенная регистрация с оценкой неопределённости имеет решающее значение для многих приложений, связанных с , например, в медицинской диагностике.
В приложениях дистанционного зондирования Земли, когда пиксел изображения может соответствовать нескольким километрам расстояния (как, например, в снимках LANDSAT от NASA), неопределённая регистрация изображений может означать, что решение может находиться в нескольких километрах от реального расположения. Несколько известных работ были посвящены количественной оценке неопределённости при регистрации изображений с целью сравнения результатов. Однако многие подходы к количественной оценке неопределённости или оценке деформаций являются вычислительно затратными или применимы только к ограниченному набору пространственных преобразований.
Приложения
Регистрация изображения находит применение в дистанционном зондировании (обновление картографических данных) и компьютерном зрении. Учитывая широкий спектр областей применения регистрации изображений невозможно разработать универсальный метод, оптимизированный для всех случаев.
Медицинская регистрация изображений (например, для данных одного пациента, полученных в разное время, для обнаружения изменений или мониторинга опухолей (продольные исследования)) часто дополнительно включает эластичную (также известную как нежёсткую) регистрацию для учета деформаций объекта (из-за дыхания, анатомических изменений и т. д.) и значительных анатомических различий между разными пациентами. Нежёсткая регистрация медицинских изображений также может использоваться для сопоставления данных пациента с анатомическим атласом, таким как для нейровизуализации. Другим применением регистрации изображений в медицинской визуализации является регистрация ряда объектов в едином эталонном пространстве для когортного анализа. В других случаях нежёсткая регистрация явно не используется, поскольку методы жёсткой регистрации сохраняют исходную геометрию, например, при визуализации нутреннего уха. Это предпочтительно для структур с низкой изменчивостью анатомии в изучаемой группе.
В лучевой терапии жёсткая регистрация изображения является основополагающим элементом большинства программных систем обработки изображений. Она заключается в совмещении изображений путём применения поступательных и вращательных корректировок, до шести степеней свободы — три для перемещения вдоль осей x, y и z и три для вращения вокруг этих осей. Жёсткая регистрация изображений соответствующим образом совмещает изображения, используя эти шесть параметров, что позволяет точно планировать и проводить лечение.