Визуализация глубин — набор техник, используемых для построения двумерного изображения, отображающего расстояние до объектов на сцене от определённой точки, обычно отождествляемой с положением датчика (устройства).

Результирующее изображение глубин имеет значения пикселов, соответствующих дистанции. Если датчик, используемый для создания такого изображения, правильно откалиброван, значения пикселов могут быть представлены в физических единицах, например, в метрах.

Типы камер для формированием карт глубин Устройство, используемое для получения изображения глубин иногда называется range camera (камера дальности) или depth camera (камера глубины). Камера с формированием карт дальности могут работать по различным принципам, некоторые из которых представлены ниже.

Стереоскопическая триангуляция Стереотриангуляция — это метод стереофотограмметрии, при котором глубина пикселов определяется на основе данных, полученных с помощью стереосистемы или системы с несколькими камерами. Таким образом, можно определить расстояние до точек в сцене, например, от центра линии, соединяющей их фокусные точки. Для решения задачи измерения глубины с помощью стереокамеры необходимо сначала найти соответствующие точки на разных изображениях. Решение является одной из основных сложностей при использовании этого метода. Например, трудно найти соответствия для точек изображения, находящихся в областях с однородной яркостью или цветом. Таким образом, на основе стереоскопической триангуляции можно получить надёжные оценки глубины только для части всех точек, видимых несколькими камерами.

Преимущество этого метода заключается в том, что измерение является в большей степени пассивным, оно не требует особых условий освещения сцены. Другие упомянутые здесь методы не сталкиваются с проблемой соответствия, но вместо этого зависят от специфических условий освещения сцены.

Лазерные системы широкого захвата (лист света) Если сцена освещается лазерной системой широкого захвата (, возникает отражённая линия, видимая из источника света. Из любой точки вне плоскости листа эта линия обычно выглядит как кривая, точная форма которой зависит как от расстояния между наблюдателем и источником света, так и от расстояния между источником света и отражёнными точками. Наблюдая отражённый свет с помощью камеры (часто камеры высокого разрешения) и зная положения и ориентации камеры и источника света, можно определить расстояния между отражёнными точками и источником света или камерой.

Перемещая либо источник света (и обычно также камеру), либо сцену перед камерой, можно создать последовательность профилей глубины сцены. Их можно представить в виде двумерного изображения глубин.

Структурированное освещение

Освещая сцену специально разработанным световым узором, называемым , глубину можно определить, используя только одно изображение отражённого света. Структурированное освещение может иметь форму горизонтальных и вертикальных линий, точек или узоров в виде шахматной доски. Световая сцена (LightStage) — это, по сути, универсальное устройство для получения изображения глубин со структурированным освещением, изначально созданное для задачи захвата отражательной способности.

Время полёта луча

Глубину также можно измерить с помощью стандартной техники измерения времени полёта луча (, ToF), что, в общих чертах, похоже на радар — изображение глубин формируется аналогично радарному, но вместо радиочастотного импульса используется световой импульс. Это также напоминает лидар, только ToF не требует сканирования, то есть вся сцена захватывается одним световым импульсом, в отличие от сканирования точка-за-точкой вращающимся лазерным лучом. Камеры фиксации времени полёта луча — это относительно новые устройства, которые захватывают всю сцену в трех измерениях с помощью специального датчика изображения и, следовательно, не нуждаются в движущихся частя. Лазерные радары с фиксацией времени полёта и быстозатворной ПЗС камерой с функцией усиления яркости достигают субмиллиметрового разрешения по глубине. При использовании этой техники короткий лазерный импульс освещает сцену, а ПЗС камера с функцией усиления яркости открывает свой высокоскоростной затвор всего на несколько сотен пикосекунд. Трёхмерная информация рассчитывается из серии двухмерных изображений, полученных с увеличивающейся задержкой между лазерным импульсом и открытием затвора.

Интерферометрия Освещая точки когереноным светом и измеряя фазовый сдвиг отражённого света относительно источника можно определить глубину. При условии, что истинное изображение дальности является более или менее непрерывной функцией координат изображения, правильная глубина может быть получена с использованием метода, называемого «развертывание фазы». См. статью SAR интерферометрия земли.

Кодирующая апертура

Информация о глубине может быть частично или полностью получена, наряду с интенсивностью, путём обратной свертки изображения, снятого с помощью специально разработанной кодирующей апертуры со сложным расположением отверстий, через которые проходящий свет либо пропускается, либо блокируется. Сложная форма апертуры создаёт неравномерное размытие изображения для тех частей сцены, которые находятся не в фокальной плоскости объектива. Степень размытия по всей сцене, которая связана со смещением от фокальной плоскости, может быть использована для определения глубины.

Для определения размера размытия (необходимого для декодирования информации о глубине) на полученном изображении можно использовать два подхода: 1) на полученных изображениях с различными размытиями, 2) обучение некоторых линейных фильтров, которые определяют тип размытия.

Первый подход использует правильную математическую деконволюцию, которая учитывает известный рисунок апертуры. Эта деконволюция может определить, где и в какой степени сцена была искажена расфокусированным светом, выборочно падающим на поверхность захвата, и обратить этот процесс. Таким образом, может быть получена сцена без размытия вместе с размером размытия.

Второй подход, напротив, определяет степень размытия минуя восстановление чёткого изображения и, следовательно, без выполнения обратной свёртки. Используя технику, основанную на методе главных компонент (МГК), алгоритм в автономном режиме обучается набору фильтров, которые однозначно идентифицируют каждый размер размытия. Эти фильтры затем применяются непосредственно к полученному изображению в виде обычной свёртки. Важнейшим преимуществом этого подхода является то, что не требуется никакой информации о шаблоне кодирующей апертуры. Благодаря своей эффективности, этот алгоритм также был расширен для видеопоследовательностей с движущимися и деформирующимися объектами.

Поскольку глубина точки выводится из степени её размытия, вызванного распространением света от соответствующей точки в сцене, проходящего через всю поверхность апертуры и искажающегося в соответствии с этим распространением, это сложная форма стереотриангуляции. Каждая точка изображения фактически пространственно дискретизируется по ширине апертуры.

Эта технология в последнее время использовалась в iPhone X. Многие другие телефоны Samsung и компьютеры Microsoft пытались использовать эту технологию, но они не используют 3D отображение.

См. также

3D-сканер Карта глубины Электронно-оптический преобразователь Kinect

Лазерный дальномер Лидар Пленоптическая камера Техника , разработанная для фильма «Матрица», обеспечивает эффективное решение задачи для обеспечения виртуальной кинематографии. Фотограмметрия

Time-of-Flight-камера

Примечания

Литература

Категория:Стереоэффект