WikiDer > Трифокальный тензор

В компьютерное зрение, то трифокальный тензор (также тритензор) представляет собой массив чисел 3 × 3 × 3 (т. е. тензор) который включает в себя все проективный геометрические отношения между тремя видами. Он связывает координаты соответствующих точек или линий в трех видах, будучи независимым от структуры сцены и зависящим только от относительного движения (т.е. поза) среди трех представлений и их внутренних параметров калибровки. Следовательно, трифокальный тензор можно рассматривать как обобщение фундаментальная матрица в трех представлениях. Отмечается, что несмотря на то, что тензор состоит из 27 элементов, только 18 из них фактически независимы.

Также существует так называемый калиброванный трифокальный тензор, который связывает координаты точек и линий в трех видах с учетом их внутренних параметров и кодирует относительное положение камер до глобального масштаба, всего 11 независимых элементов или степеней свободы. Уменьшение степеней свободы позволяет уменьшить количество соответствий для соответствия модели за счет увеличения нелинейности.^[1]

Корреляционные срезы

Тензор также можно рассматривать как набор из трех матриц 3 x 3 второго ранга ${ displaystyle { mathbf {T}} _ {1}, ; { mathbf {T}} _ {2}, ; { mathbf {T}} _ {3}}$ известный как его корреляционные срезы. Предполагая, что матрицы проекции из трех представлений ${ Displaystyle { mathbf {P}} = [{ mathbf {I}} ; | ; { mathbf {0}}]}$, ${ Displaystyle { mathbf {P}} ^ {'} = [{ mathbf {A}} ; | ; { mathbf {a}} _ {4}]}$ и ${ displaystyle { mathbf {P} ^ {''}} = [{ mathbf {B}} ; | ; { mathbf {b}} _ {4}]}$, корреляционные срезы соответствующего тензора могут быть представлены в замкнутой форме как ${ displaystyle { mathbf {T}} _ {i} = { mathbf {a}} _ {i} { mathbf {b}} _ {4} ^ {t} - { mathbf {a}} _ {4} { mathbf {b}} _ {i} ^ {t}, ; i = 1 ldots 3}$, куда ${ displaystyle { mathbf {a}} _ {i}, ; { mathbf {b}} _ {i}}$ соответственно я^th столбцы матриц камеры. На практике, однако, тензор оценивается по совпадениям точек и линий в трех представлениях.

Трилинейные ограничения

Одно из наиболее важных свойств трифокального тензора состоит в том, что он порождает линейные отношения между линиями и точками на трех изображениях. Более конкретно, для троек соответствующих точек ${ displaystyle { mathbf {x}} ; leftrightarrow ; { mathbf {x}} ^ {'} ; leftrightarrow ; { mathbf {x}} ^ {' '}}$ и любые соответствующие строки ${ displaystyle { mathbf {l}} ; leftrightarrow ; { mathbf {l}} ^ {'} ; leftrightarrow ; { mathbf {l}} ^ {' '}}$ через них следующие трилинейные ограничения держать:

${ displaystyle ({ mathbf {l}} ^ {'t} left [{ mathbf {T}} _ {1}, ; { mathbf {T}} _ {2}, ; { mathbf {T}} _ {3} right] { mathbf {l}} ^ {''}) [{ mathbf {l}}] _ { times} = { mathbf {0}} ^ {t} }$

${ displaystyle { mathbf {l}} ^ {'t} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) { mathbf {l}} ^ {''} = 0}$

${ displaystyle { mathbf {l}} ^ {'t} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) [{ mathbf {x}} ^ {''}] _ { times} = { mathbf {0}} ^ {t}}$

${ displaystyle [{ mathbf {x}} ^ {'}] _ { times} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) { mathbf {l}} ^ {''} = { mathbf {0}}}$

${ displaystyle [{ mathbf {x}} ^ {'}] _ { times} left ( sum _ {i} x_ {i} { mathbf {T}} _ {i} right) [{ mathbf {x}} ^ {''}] _ { times} = { mathbf {0}} _ {3 times 3}}$

куда ${ Displaystyle [ cdot] _ { раз}}$ обозначает кососимметричный матрица кросс-продукта.

Передача

Учитывая трифокальный тензор трех ракурсов и пару совпадающих точек в двух ракурсах, можно определить местоположение точки в третьем ракурсе без какой-либо дополнительной информации. Это известно как точечный перевод аналогичный результат справедлив для прямых и коник. Для общих кривых перенос может быть реализован с помощью модели локальной дифференциальной кривой соприкасающихся кругов (т. Е. Кривизны), которые затем могут быть перенесены в виде конусов.^[2] Изучен перенос моделей третьего порядка, отражающих кручение пространства, с помощью калиброванных трифокальных тензоров.^[3] но остается открытой проблемой для некалиброванных трифокальных тензоров.

Оценка

Некалиброванный

Классический случай - это 6-точечные соответствия^[4][5] давая 3 решения.

Только недавно был решен случай оценки трифокального тензора из девяти линейных соответствий.^[6]

Откалиброван

Оценка откалиброванного трифокального тензора была известна как трудная и требует четырехточечных соответствий.^[7]

Недавно был решен случай использования только трехточечных соответствий, когда точки приписываются касательными направлениями или инцидентными линиями; только две точки имеют падающие линии, это минимальная задача степени 312 (так что может быть не более 312 решений) и актуальна для случая общих кривых (точки которых имеют касательные) или характерных точек с приписанными направлениями (например, направления SIFT).^[8] Тот же метод решил смешанный случай трехточечных соответствий и соответствия одной линии, которое также было показано как минимальное со степенью 216.

Рекомендации

дальнейшее чтение

• Хартли, Ричард И. (1997). «Линии и точки в трех представлениях и трифокальный тензор». Международный журнал компьютерного зрения. 22 (2): 125–140. Дои:10.1023 / А: 1007936012022.
• Торр, П. Х. С .; Зиссерман, А. (1997). «Робастная параметризация и вычисление трифокального тензора». Вычисления изображений и зрения. 15 (8): 591–607. CiteSeerX 10.1.1.41.3172. Дои:10.1016 / S0262-8856 (97) 00010-3.

внешняя ссылка

• Визуализация трифокальной геометрии (первоначально Сильвен Бугну из INRIA Роботвис, требуется Ява)

Алгоритмы

• Реализация в Matlab некалиброванного трифокального тензора оценка и сравнение с попарными фундаментальными матрицами
• C ++ реализация калиброванного трифокального тензора оценка с использованием оптимизированного кода продолжения гомотопии. В настоящее время включает случаи трех соответствующих точек с линиями в этих точках (как в положениях и ориентациях признаков или точек кривой с касательными), а также для трех соответствующих точек и одной линии соответствия.