Гомографія в комп'ютерному зорі — це проективне перетворення, яке описує відповідність між точками двох зображень у випадку, коли вони пов'язані геометрією однієї площини або за інших умов, за яких така відповідність може бути описана одним проективним перетворенням.

Гомографія широко використовується для зіставлення зображень, виправлення перспективних спотворень, побудови панорам, відстеження площинних об'єктів та оцінювання руху камери. Вона є одним із фундаментальних понять проективної геометрії, що застосовуються в комп'ютерному зорі.

Математичне представлення

Гомографія між двома площинами може бути представлена невиродженою матрицею розміром 3×3:

Для точки зображення її відповідна точка визначається як

Тут точки представляються в однорідних координатах, а символ означає рівність з точністю до ненульового масштабного множника.

Якщо

то після застосування гомографії отримується

Декартові координати точки отримують діленням перших двох координат на третю:

Матриця гомографії визначена з точністю до ненульового масштабного множника. Тобто матриці і , де , описують те саме проективне перетворення.

Таким чином, матриця гомографії має вісім незалежних параметрів.

Гомографія між двома зображеннями

Нехай на двох зображеннях спостерігається одна й та сама площинна поверхня. Точка цієї поверхні, яка має координати на першому зображенні та на другому, може бути пов'язана гомографією:

Такі пари точок називають відповідностями точок (). Вони можуть бути отримані, наприклад, шляхом пошуку та зіставлення локальних ознак зображення.

Для довільної сцени з тривимірними об'єктами одна гомографія, як правило, не може описати відповідність усіх точок між двома зображеннями. Однак якщо всі точки, що розглядаються, належать одній площині, між ними існує гомографія за умови використання стандартної моделі камери.

Гомографія також описує відповідність між двома зображеннями при чистому обертанні камери, незалежно від глибини сцени. У цьому випадку гомографія визначається обертанням камери та її внутрішніми параметрами.

Оцінювання гомографії

На практиці матрицю гомографії зазвичай оцінюють за набором відповідностей між точками двох зображень.

Оскільки матриця має вісім незалежних параметрів, для її визначення необхідні щонайменше чотири пари відповідних точок, якщо точки знаходяться в загальному положенні та відомі без похибки. Кожна відповідність точок задає два незалежні рівняння.

DLT

Одним із класичних методів оцінювання гомографії є пряме лінійне перетворення (Direct Linear Transform, DLT). Він перетворює рівняння для відповідностей точок у систему лінійних рівнянь, розв'язання якої дозволяє знайти параметри матриці .

У реальних зображеннях координати точок містять похибки, тому на практиці зазвичай використовують більше ніж чотири відповідності та знаходять оцінку, яка найкраще відповідає всьому набору спостережень.

RANSAC

Відповідності між зображеннями можуть містити неправильні зіставлення, або викиди (). Для їх виявлення часто застосовують алгоритм RANSAC.

RANSAC багаторазово вибирає мінімальний набір відповідностей, достатній для оцінювання гомографії, обчислює матрицю та перевіряє, скільки інших відповідностей узгоджуються з отриманою моделлю. Відповідності, які узгоджуються з моделлю, називають (), а ті, що не узгоджуються, — викидами.

Геометричний зміст

Гомографія є проективним перетворенням площини. На відміну від афінного перетворення, вона може змінювати паралельність прямих і моделювати перспективні спотворення.

Наприклад, прямокутний об'єкт, сфотографований під кутом, на зображенні може мати форму довільного чотирикутника. Гомографія може описати перетворення між координатами об'єкта на його площині та координатами його проєкції на зображенні.

Гомографія також задає взаємно однозначне проективне відображення між двома площинами. Прямі лінії при цьому переходять у прямі лінії, але їхні кути, довжини та відстані загалом не зберігаються.

Застосування

Гомографії використовуються в багатьох задачах комп'ютерного зору.

Зшивання зображень Гомографія може використовуватися для геометричного вирівнювання зображень перед їх об'єднанням у панораму. Виправлення перспективи Якщо відомі відповідності між кутами площинного об'єкта та заданим прямокутником, гомографія дозволяє виконати перспективне перетворення зображення та отримати вигляд об'єкта без перспективного нахилу. Відстеження площинних об'єктів Оцінювання гомографії між послідовними кадрами дозволяє визначати зміну положення площинного об'єкта в зображенні. Такий підхід застосовується, зокрема, для відстеження документів, плакатів та інших площинних об'єктів. Калібрування камери Гомографії між площиною калібрувального об'єкта та зображенням використовуються в деяких методах визначення внутрішніх параметрів камери. Візуальна одометрія та SLAM Гомографія може використовуватися у візуальній одометрії та SLAM для оцінювання руху камери або як модель геометрії між кадрами. Проте для довільної тривимірної сцени гомографія не описує загальну відповідність між двома зображеннями. Якщо сцена має значні зміни глибини, для опису геометрії зазвичай потрібні інші моделі, зокрема фундаментальна або істотна матриця.

Декомпозиція гомографії

Для площинної сцени гомографію можна пов'язати з геометрією руху камери та положенням площини.

За стандартної моделі перспективної камери гомографія між двома зображеннями може бути записана у вигляді

де і - матриці внутрішніх параметрів першої та другої камери, - матриця обертання між системами координат камер, - вектор трансляції, - нормаль до площини, а - відстань до площини з урахуванням обраної системи знаків.

Це співвідношення показує зв'язок між гомографією та тривимірною геометрією сцени. За відомих внутрішніх параметрів камери гомографію можна декомпозувати на можливі значення обертання, напрямку трансляції та нормалі площини. Через властивості проективної геометрії така декомпозиція може мати декілька можливих розв'язків, з яких фізично коректний розв'язок вибирають за додатковими геометричними умовами.

Див. також

Афінне перетворення Візуальна одометрія Істотна матриця Проективна геометрія Фундаментальна матриця (комп'ютерний зір) RANSAC

Примітки

Джерела

Hartley, R.; Zisserman, A. Multiple View Geometry in Computer Vision. Cambridge University Press. Szeliski, R. Computer Vision: Algorithms and Applications. Springer.