Структурный тензор, известный также как матрица вторых моментов, — это матрица, полученная из градиента функции. Он описывает распределение градиента в заданной окрестности точки и делает информацию инвариантной к координатам. Структурный тензор часто используется при цифровой обработке изображений и компьютерном зрении.
Двумерный структурный тензор Непрерывная версия Для функции двух переменных структурным тензором будет матрица 2×2
где и — частные производные функции по x и y. Интегралы берутся по всей плоскости . Величина w является некоторой фиксированной «оконной функцией» (такой как гауссово размытие), представляющая собой распределение по двум переменным. Заметьте, что матрица сама по себе является функцией от .
Приведённую выше формулу можно записать также как , где является матричнозначной функцией, определённой выражением
Если градиент функции рассматривать как матрицу 2×1 (одностолбцовую), где обозначает операцию транспонирования, превращающую вектор-строку в вектор-столбец, то матрица может быть записана как матричное произведение или тензорное произведение . Однако следует учесть, что структурный тензор в общем случае не может быть представлен в таком виде, если только не является дельта-функцией Дирака.
Дискретная версия При обработке изображений и в других похожих приложениях функция обычно задаётся как дискретный массив значений , где p — пара целочисленных индексов. Двухмерный структурный тензор в заданном пикселе обычно вычисляется как дискретная сумма
Здесь индекс суммирования r пробегает по всему конечному множеству пар индексов («окну», обычно для некоторого m), а w[r] является фиксированным «весом окна», зависящим от r, причём сумма всех весов равна 1. Значения представляют собой частные производные, взятые в пикселе p. Они могут быть, например, оценены из с помощью формул конечных разностей.
Формула структурного тензора может быть записана также как , где матричнозначный массив, такой что
Интерпретация Важность двумерного структурного тензора обусловлена тем, что его собственные значения (которые можно упорядочить так, что ) и соответствующие собственные векторы суммируют распределение градиента функции в пределах окна, определяемого весами с центром в точке .
А именно, если , то (или ) является направлением, максимально совпадающим с градиентом в пределах окна.
В частности, если то градиент всегда является кратным (положительным, отрицательным или нулевым). это происходит тогда и только тогда, когда функция в пределах окна изменяется вдоль направления но остаётся постоянной вдоль . Это условие собственных значений также называют условием линейной симметрии, поскольку в этом случае изолинии функции представляют собой параллельные прямые, то есть существует одномерная функция , которая может порождать двумерную функцию в виде для некоторого постоянного вектора и координат .
Если , с другой стороны, градиент в окне не имеет доминирующего направления, что случается, например, когда изображение имеет вращательную симметрию в этом окне. Это условие собственных значений также называют сбалансированным телом или условием равновесия направлений, поскольку оно выполняется, когда все направления градиента в окне имеют одинаковую частоту/вероятность.
Более того, условие выполняется тогда и только тогда, когда функция постоянна () в пределах .
В более общем случае значение , для k=1 или k=2, является -взвешенным средним в окрестности точки p квадрата производной по направлению функции вдоль . Относительное расхождение между двумя собственными значениями является показателем степени анизотропии градиента в окне, то есть насколько сильно он смещён в определённом направлении (и его противоположном).. Этот атрибут может быть количественно оценен когерентностью, определяемой как
если . Эта величина равна 1, когда градиент полностью выровнен, и 0, когда у него нет предпочтительного направления. Формула не определена, даже в пределе, когда изображение постоянно в окне (). Некоторые авторы определяют в этом случае её как 0.
Обратите внимание, что среднее значение градиента внутри окна не является хорошим показателем анизотропии. Выровненные, но противоположно ориентированные векторы градиента погасили бы друг друга в этом среднем, тогда как в тензоре структуры они корректно складываются. Это причина, по которой используется при усреднении тензора структуры для оптимизации направления вместо .
Увеличение эффективного радиуса оконной функции (то есть повышение её дисперсии), позволяет повысить устойчивость структурного тензора к шуму, но ценой снижения пространственного разрешения. Формальное обоснование этого свойства подробно описано ниже, где показано, что многомасштабная формулировка структурного тензора, называемая многомасштабным структурным тензором, представляет собой истинное многомасштабное представление направленных данных при изменении пространственного охвата оконной функции.
Комплексная версия Интерпретация и реализация двумерного структурного тензора становятся особенно доступными при использовании комплексных чисел. Структурный тензор состоит из трёх действительных чисел
где , и . Здесь интегралы могут быть заменены суммами для дискретного представления. При использовании тождества Парсеваля становится ясно, что три действительных числа являются моментами второго порядка спектра мощности . Комплексный момент второго порядка спектра мощности может быть записан как
где , — угловое направление главного собственного вектора структурного тензора , а и наибольшее и наименьшее собственные значения соответственно. Из этого следует, что содержит как степень уверенности , так и оптимальное направление в представлении двойного угла. Если градиент представлен как комплексное число и преобразован путём возведения в квадрат (i то есть углы аргумента комплексного градиента удваиваются), то усреднение действует как оптимизатор в преобразованной области, поскольку оно напрямую обеспечивает как оптимальное направление (в представлении двойного угла), так и связанную с ним степень уверенности. Таким образом, комплексное число представляет собой степень линейной структуры (линейной симметрии) в изображении , и это комплексное число получается непосредственно путём усреднения градиента в его (комплексном) представлении двойного угла без явного вычисления собственных значений и собственных векторов.
Аналогично может быть получен другой комплексный момент второго порядка спектра мощности , который всегда оказывается действительным, поскольку является действительным,
где и — собственные значения, как и прежде. Обратите внимание, что на этот раз величина комплексного градиента возведена в квадрат (которая всегда действительна).
Однако, разложение структурного тензора на его собственные векторы даёт его тензорные компоненты в виде
где — единичная матрица в 2D, поскольку два собственных вектора всегда ортогональны (и в сумме дают единицу). Первый член в последнем выражении разложения, , представляет линейный компонент симметрии структурного тензора, содержащий всю информацию о направлении (как матрица ранга 1), тогда как второй член представляет сбалансированный компонент тела тензора, который не содержит никакой информации о направлении (содержит единичную матрицу ). Таким образом, знание того, сколько информации о направлении содержится в , эквивалентно проверке того, насколько велико по сравнению с .
Очевидно, является комплексным эквивалентом первого члена в разложении тензора, тогда как является эквивалентом второго члена. Таким образом, два скаляра, состоящие из трёх действительных чисел,
где — это (комплексный) градиентный фильтр, а — свёртка, образуют комплексное представление двумерного тензора структуры. Как обсуждалось здесь и в других местах, определяет локальное изображение, которое обычно является гауссианом (с определённой дисперсией, определяющей внешний масштаб), а — параметр (внутренний масштаб), определяющий эффективный частотный диапазон, в котором оценивается ориентация .
Элегантность комплексного представления заключается в том, что две компоненты тензора структуры могут быть получены как средние значения и независимо. В свою очередь, это означает, что и могут быть использованы в представлении масштабного пространства для описания свидетельств наличия уникальной ориентации и свидетельств альтернативной гипотезы, наличия множественных сбалансированных ориентаций, без вычисления собственных векторов и собственных значений. Функционал, такой как возведение в квадрат комплексных чисел до настоящего времени не был показан для структурных тензоров с размерностью выше двух. В работе Бигуна было выдвинуто с соответствующими аргументами, что это связано с тем, что комплексные числа являются коммутативной алгеброй, тогда как кватернионы, возможные кандидаты для построения такого функционала, образуют некоммутативную алгебру.
Комплексное представление структурного тензора часто используется в анализе отпечатков пальцев для получения карт направлений, содержащих степени уверенности, которые, в свою очередь, используются для их улучшения, для поиска местоположений глобальных (центры и дельты) и локальных (минуции) сингулярностей, а также для автоматической оценки качества отпечатков пальцев. Трёхмерный структурный тензор Определение Структурный тензор может быть определён также для функции от трёх переменных p=(x,y,z) полностью аналогичным образом. А именно, в непрерывной версии мы имеем , где
где являются тремя частными производными , и интегрирование ведётся по .
В дискретной версии , где
и суммирование ведётся по конечному множеству 3D индексов, обычно для некоторого .
Интерпретация Как и в двумерном случае, собственные значения матрицы и соответствующие собственные векторы , суммируют распределение направлений градиента в окрестности точки p определяемой окном . Эта информация может быть представлена в виде эллипсоида, полуоси которого равны собственным значениям и направлены вдоль соответствующих собственных векторов.
В частности, если эллипсоид вытянут только вдоль одной оси, подобно сигаре (то есть, если много больше и ), это означает, что градиент в окне преимущественно ориентирован вдоль направления , и поэтому изоповерхности функции стремятся быть плоскими и перпендикулярными этому вектору. Эта ситуация случается, например, когда p лежит в тонкой пластинообразной структуре или на гладкой границе между двумя областями с контрастными значениями.
Если эллипсоид сплюснут только в одном направлении, напоминая блин (то есть, если много меньше, чем и ), это означает, что направления градиентов распределены, но перпендикулярны , и поэтому изоповерхности стремятся быть похожими на трубки, параллельные этому вектору. Эта ситуация случается, например, когда p лежит на тонкой линейной структуре или на остром углу границы между двумя областями с контрастными значениями.
Наконец, если эллипсоид почти сферический (то есть, если ), это означает, что направления градиента в окне более или менее равномерно распределены, без выраженного предпочтения, так что функция почти изотропна в этой области. Это случается, например, когда функция имеет в окрестности точки p. В частности, эллипсоид вырождается в точку (то есть, если три собственных значений равны нулю) и это означает, что является константой (имеет нулевой градиент) в пределах окна.
Мультимасштабный структурный тензор