Выделение пятен — это методы, применяемый в системах компьютерного зрения для определения областей цифрового изображения, которые отличаются по своим свойствам, таким как яркость или цвет, в сравнении с окружающими частями изображения. Неформально, пятно — это область изображения, в которой некоторые свойства постоянны или почти постоянны. Все точки пятна можно считать в некотором смысле похожими. Наиболее распространённый метод выделения пятен — использование свёртки.
Если некоторое интересующее свойство выражено как функция положения на изображении, существуют два основных класса детекторов пятен: (i) дифференциальные методы, основанные на производных функции по положению, и (ii) методы, основанные на локальных экстремумах, которые ищут локальные максимумы и минимумы функции. В современной терминологии эти детекторы также называют операторами точек интереса или операторами областей интереса (см. также статьи «выделение точек интереса» и «выделение углов»).
Имеется несколько причин для изучения и разработки детекторов пятен. Одна из главных причин — предоставление дополнительной информации об областях, которую нельзя получить с помощью детекторов краёв или детекторов углов. В ранних работах по этой теме выделение пятен использовалось для выделения областей интереса для дальнейшей обработки. Эти области могли указывать на присутствие объектов или их частей объектов в области изображения, что применялось для распознавания объектов или/и отслеживания объектов. В других областях, таких как анализ гистограмм, дескрипторы пятен могут использоваться также для обнаружения пиков с применением к сегментации. Другое распространённое использование дескрипторов пятен — как основные примитивы для анализа и распознавания текстур. В более поздних работах дескрипторы пятен стали всё более популярными в качестве точек интереса для широкобазового сопоставления стереоизображений и для индикации наличия информативных признаков изображения при распознавании объектов на основе внешнего вида, опирающегося на локальную статистику изображения. Существует также связанное понятие «выделения гребней» для индикации наличия вытянутых объектов.
Лапласиан гауссиана Один из первых и наиболее распространённых детекторов пятен основан на лапласиане гауссиана (LoG). Заданное входное изображение свёртывается с гауссовым ядром
в определённом масштабе , чтобы получить представление в масштабном пространстве . Затем вычисляется результат применения оператора Лапласа , который обычно даёт сильные положительные отклики для тёмных пятен радиуса (для двумерного изображения, для -мерного изображения) и сильные отрицательные отклики для светлых пятен аналогичного размера. Однако основная проблема при применении этого оператора в одном масштабе заключается в том, что отклик оператора сильно зависит от соотношения между размером структур пятен в области изображения и размером гауссова ядра, используемого для предварительного сглаживания. Чтобы автоматически обнаруживать пятна различных (неизвестных) размеров в области изображения, необходим многомасштабный подход.
Простой способ получить многомасштабный детектор пятен с автоматическим выбором масштаба заключается в использовании масштабно-нормализованного оператора Лапласа
и обнаружении максимумов/минимумов в масштабном пространстве. Это точки, которые являются одновременно локальными максимумами/минимумами как по пространству, так и по масштабу. Таким образом, для заданного дискретного двумерного входного изображения вычисляется трёхмерный дискретный объём масштабного пространства . Точка считается ярким (тёмным) пятном, если значение в этой точке больше (меньше) значений во всех 26 её соседях. Таким образом, одновременный выбор точек интереса и масштабов выполняется согласно . Следует отметить, что это определение пятна даёт краткое и математически точное операционное определение понятия «пятна», что непосредственно приводит к эффективному и надёжному алгоритму выделения пятен. Некоторые основные свойства пятен, определённых из максимумов нормализованного оператора Лапласа, заключаются в том, что отклики ковариантны относительно сдвигов, вращений и масштабирования в области изображения. Таким образом, если максимум в масштабном пространстве предполагается в точке , при масштабировании изображения с коэффициентом , будет максимум в точке в масштабированном изображении. Это практически очень полезное свойство означает, что помимо конкретной темы лапласовского выделение пятен, локальные максимумы/минимумы масштабно-нормализованного Лапласиана также используются для выбора масштаба в других контекстах, таких как выделение углов, масштабно-адаптивное отслеживание признаков, преобразование признаков, инвариантное к масштабу , а также в других дескрипторах изображений для сопоставления изображений и распознавания объектов.
Свойства выбора масштаба оператора Лапласа и других детекторов точек мнтереса в масштабном пространстве подробно анализируются в статье Линденберга 2013 года. В статьях Линдеберга 2013 и 2015 года показано, что существуют другие детекторы точек интереса в масштабном пространстве, такие как определитель оператора Гессе, которые превосходят оператор Лапласа или его аппроксимацию разностью гауссианов, при сопоставлении изображений с использованием локальных дескрипторов, подобных SIFT.
Разность гауссианов
Из того факта, что представление масштабного пространства удовлетворяет уравнению диффузии
следует, что лапласиан оператора Гессе также может быть вычислен как предельный случай разности между двумя гауссовски сглаженными изображениями (представлениями масштабных пространств) . В литературе по компьютерному зрению этот подход называется методом разности гауссиан (DoG). Однако, за исключением незначительных технических деталей, этот оператор по сути аналогичен оператору Лапласа и может рассматриваться как его аппроксимация. Подобно лапласову детектору пятен, пятна могут быть обнаружены по экстремумам разностей гауссианов в масштабных пространствах — см. статьи Линдеберга 2012 и 2015 годов для явной связи между оператором разности гауссианов и масштабно-нормализованным оператором Лапласа. Этот подход, например, используется в алгоритме преобразования признаков, инвариантному к масштабу (, SIFT) — см. статью Лове.
Определитель гессиана При рассмотрении нормированного по масштабу определителя гессиана, известного также как оператор Монжа — Ампера,
где обозначает матрицу Гессе представления в масштабном пространстве, а затем при обнаружении максимумов этого оператора в масштабном пространстве, получается ещё один простой дифференциальный детектор пятен с автоматическим выбором масштаба, который также реагирует на седловые точки. . Точки пятен и масштабы также определяются из операционных дифференциально-геометрических определений, которые приводят к дескрипторам пятен, ковариантным относительно сдвигов, поворотов и масштабирования в области изображения. В терминах выбора масштаба, пятна, определённые на основе экстремумов в масштабном пространстве определителя гессиана (DoH), также обладают несколько лучшими свойствами выбора масштаба при неевклидовых аффинных преобразованиях, чем более часто используемый оператор Лапласа. В упрощённой форме, нормированный по масштабу определитель гессиана, вычисленный на основе вейвлетов Хаара , используется в качестве основного оператора точек интереса в дескрипторе SURF для сопоставления изображений и распознавания объектов.
Подробный анализ селективных свойств оператора определителя гессиана и других близких детекторов точек интереса в масштабном пространстве дан в статье Линдеберга. В статье показано, что оператор определителя гессиана имеет лучшие свойства выбора масштаба при аффинных преобразованиях изображения по сравнению с оператором Лапласа. В работах Линдеберг показал, что оператор определителя гессиана значительно превосходит оператор Лапласа или его аппроксимацию разностью гауссианов, а также операторы Харриса или Харриса — Лапласа, при сопоставлении изображений на основе локальных дескрипторов типа SIFT или SURF, что приводит к более высоким значениям эффективности и более низким показателям 1−.
Гибрид оператора лапласиана и определителя гессиана Также был предложен гибридный оператор выявления пятен на основе лапласиана и определителя гессиана. В нём пространственный выбор осуществляется определителем гессиана, а выбор масштаба — масштабно-нормализованным Лапласианом:
Этот оператор применялся для сопоставления изображений, распознавания объектов и анализа текстур.
Аффинно адаптированные дифференциальные детекторы пятен Дескрипторы пятен, полученные из этих детекторов пятен с автоматическим выбором масштаба, остаются неизменными при сдвигах, поворотах и равномерном изменении размера в пространственной области. Изображение, поступающее в систему компьютерного зрения, подвержены, однако, перспективным искажениям. Чтобы дескрипторы пятен были более устойчивы к таким искажениям, логично разработать детектор, инвариантный к аффинным преобразованиям. На практике аффинно-инвариантные точки интереса можно получить, применяя к дескриптору пятна. Это достигается либо итеративным изменением формы сглаживающего ядра для соответствия локальной структуре изображения вокруг пятна, или, эквивалентно, итеративным искажением локального участка изображения при сохранении вращательной симметрии сглаживающего ядра. Таким образом, можно создать аффинно-адаптированные версии лапласиана/разности гауссианов, определителя гессиана и оператора Гессе — Лапласа (см. также и ).
Детекторы пространственно-временных пятен Определитель оператора Гессе был расширен на совместное пространство-время Виллемсом и др. и Линденбергом, что привело к следующему выражению с нормализованным масштабом:
В работе Виллемса с коллегами использовалось более простое выражение, соответствующее и . В работе Линдберга было показано, что и обеспечивают лучшие свойства выбора масштаба, поскольку выбранные уровни масштаба, полученные из пространственно-временного гауссова пятна с пространственным размером и временным размером будут точно соответствовать пространственному размеру и временной продолжительности пятна, при этом выбор масштаба осуществляется путём обнаружения пространственно-временных экстремумов дифференциального выражения.
Оператор Лапласа был расширен на пространственно-временные видеоданные Линдебергом, что привело к следующим двум пространственно-временным операторам, которые также представляют собой модели рецептивных полей нейронов таламуса (ЛКТ) без задержки и с задержкой:
Для первого оператора, свойства выбора масштаба требуют использования и , если мы хотим, чтобы этот оператор принял максимальное значение на уровне пространственно-временных масштабов, отражающем пространственное протяжение и временную длительность начального гауссова пятна. Для второго оператора, свойства выбора масштаба требуют использования и , если мы хотим, чтобы этот оператор принял максимальное значение на уровне пространственно-временных масштабов, отражающем пространственное протяжение и временную длительность мигающего гауссова пятна.
Серые пятна, деревья серых пятен и пятна в масштабном пространстве