Matryca podstawowa (wizja komputerowa) - Fundamental matrix (computer vision)

W widzenia komputerowego The podstawową matrycę jest 3 x 3 matrycę , której dotyczy odpowiednich punktów obrazów stereo . W geometrii epipolarnej , z jednorodnymi współrzędnymi obrazu , x i x , odpowiadających punktów w parze stereoobrazów, Fx opisuje linię ( linię epipolarną ), na której musi leżeć odpowiadający punkt x ′ na drugim obrazie. Oznacza to, że dla wszystkich par odpowiednich punktów obowiązuje ${\ Displaystyle \ mathbf {F} }$

${\ Displaystyle \ mathbf {x} '^ {\ góra} \ mathbf {Fx} = 0.}$

Będąc drugiej rangi i wyznaczoną tylko do skali, podstawową macierz można oszacować przy co najmniej siedmiopunktowej korespondencji. Jego siedem parametrów reprezentuje jedyne informacje geometryczne o kamerach, które można uzyskać wyłącznie za pomocą zależności punktowych.

Termin „matryca podstawowa” został ukuty przez QT Luonga w jego wpływowej pracy doktorskiej. Czasami jest również określany jako „ tensor dwuogniskowy ”. Jako tensor jest to tensor dwupunktowy , ponieważ jest formą dwuliniową dotyczącą punktów w różnych układach współrzędnych.

Powyższa relacja definiująca podstawową macierz została opublikowana w 1992 roku przez Oliviera Faugerasa i Richarda Hartleya . Chociaż Christopher Longuet-Higgins ' pierwotnej matrycy spełnia podobny związek, podstawową matrycę to dane odnoszące się do obiektu kalibrowanych kamery, podczas gdy podstawowym macierzy opisano korespondencji w ogólnym i podstawowych względem geometrii rzutowej. Jest to matematycznie uchwycone przez relację między podstawową macierzą a odpowiadającą jej podstawową macierzą , która jest ${\ Displaystyle \ mathbf {F} }$${\ Displaystyle \ mathbf {E}}$

${\ Displaystyle \ mathbf {E} = ({\ mathbf {K} '}) ^ {\ góra} \; \ mathbf {F} \; \ mathbf {K}}$

${\ Displaystyle \ mathbf {K}}$i będące wewnętrznymi macierzami kalibracji dwóch zaangażowanych obrazów. ${\ Displaystyle \ mathbf {K} '}$

Wstęp

Podstawowa macierz to relacja między dowolnymi dwoma obrazami tej samej sceny, która ogranicza możliwość projekcji punktów ze sceny na obu obrazach. Biorąc pod uwagę rzutowanie punktu sceny na jeden z obrazów, odpowiadający mu punkt na drugim obrazie jest ograniczony do linii, co pomaga w wyszukiwaniu i umożliwia wykrycie błędnych powiązań. Relacja pomiędzy odpowiednimi punktów obrazu, którego podstawowym tabeli oznacza, określany jest jako epipolar ograniczenia , pasującego ograniczenia , dyskretnej dopasowania ograniczenia lub padania względem .

Twierdzenie o rekonstrukcji projekcyjnej

Podstawowa macierz może być określona przez zbiór korespondencji punktowych . Dodatkowo, te odpowiadające punkty obrazu mogą być triangulowane do punktów świata za pomocą matryc kamer wyprowadzonych bezpośrednio z tej podstawowej matrycy. Scena złożona z tych punktów świata znajduje się w projekcyjnej transformacji prawdziwej sceny.

Dowód

Załóżmy, że korespondencja punktów obrazu pochodzi od punktu świata pod matrycami kamer, ponieważ ${\ Displaystyle \ mathbf {x} \ leftrightarrow \ mathbf {x'}}$${\displaystyle {\textbf {X}}}$${\ Displaystyle \ lewo ({\ textbf {P}}, {\ textbf {P}} '\ po prawej)}$

${\ Displaystyle {\ zacząć {wyrównany} \ mathbf {x} & = {\ textbf {P}} {\ textbf {X}} \ \ \ mathbf {x '} & = {\ textbf {P}} '{\ textbf {X}}\end{wyrównany}}}$

Powiedzmy, że przekształcamy przestrzeń przez ogólną macierz homograficzną taką, że . ${\ Displaystyle {\ textbf {H}} _ {4 \ razy 4}}$${\displaystyle {\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}}$

Kamery następnie przekształcają się, jak

${\ Displaystyle {\ zacząć {wyrównany} {\ textbf {P}} _ {0} i = {\ textbf {P}} {\ textbf {H}} ^ {-1} \ \ {\ textbf {P}} _{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{wyrównany}}}$

${\displaystyle {\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^ {-1}{\textbf {H }}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x} }$i podobnie z wciąż otrzymujemy te same punkty wizerunkowe.${\displaystyle {\textbf {P}}_{0}'}$

Wyprowadzenie podstawowej macierzy za pomocą warunku współpłaszczyznowości

Macierz fundamentalną można również wyprowadzić za pomocą warunku współpłaszczyznowości.

W przypadku zdjęć satelitarnych

Podstawowa macierz wyraża geometrię epipolarną w stereoobrazach. Epipolar geometria na zdjęciach wykonanych aparatami perspektywie pojawia się po liniach prostych. Natomiast na zdjęciach satelitarnych obraz powstaje podczas ruchu czujnika po jego orbicie ( czujnik pushbroom ). W związku z tym istnieje wiele centrów projekcji dla jednej sceny obrazu, a linia epipolarna jest utworzona jako krzywa epipolarna. Jednak w szczególnych warunkach, takich jak małe kafelki obrazów, obrazy satelitarne można korygować za pomocą macierzy fundamentalnej.

Nieruchomości

Podstawowa macierz ma rangę 2. Jej jądro określa epipol .

Zobacz też

• Geometria epipolarna
• Niezbędna macierz
• Tensor trójogniskowy
• Algorytm ośmiopunktowy

Uwagi

Bibliografia

• Oliviera D. Faugerasa (1992). „Co można zobaczyć w trzech wymiarach z nieskalibrowanym zestawem stereo?”. Materiały Europejskiej Konferencji Wizji Komputerowej . CiteSeerX  10.1.1.462.4708 .

• Oliviera D. Faugerasa; QT Luong; Stevena Maybanka (1992). „Samokalibracja aparatu: teoria i eksperymenty”. Materiały Europejskiej Konferencji Wizji Komputerowej . doi : 10.1007/3-540-55426-2_37 .

• QT Luong i Olivier D. Faugeras (1996). „Macierz fundamentalna: teoria, algorytmy i analiza stabilności”. Międzynarodowy Czasopismo Wizji Komputerowej . 17 (1): 43–75. doi : 10.1007/BF00127818 . S2CID  2582003 .

• Olivier Faugeras i QT Luong (2001). Geometria wielu obrazów . MIT Naciśnij. Numer ISBN 978-0-262-06220-6.

• Richard I. Hartley (1992). „Szacowanie względnych pozycji kamer dla kamer nieskalibrowanych” (PDF) . Materiały Europejskiej Konferencji Wizji Komputerowej .

• Richard Hartley i Andrew Zisserman (2003). Geometria wielu widoków w wizji komputerowej . Wydawnictwo Uniwersytetu Cambridge. Numer ISBN 978-0-521-54051-3.

• Richard I. Hartley (1997). „W obronie ośmiopunktowego algorytmu”. Transakcje IEEE dotyczące analizy wzorców i inteligencji maszynowej . 19 (6): 580–593. doi : 10.1109/34.601246 .
• Nurollah Tatar (2019). „Rektyfikacja stereo obrazów satelitarnych pushbroom poprzez solidne oszacowanie podstawowej matrycy”. Międzynarodowy Dziennik Teledetekcji . 40 (20): 1–19. doi : 10.1080/01431161.2019.1624862 .

• QT Luong (1992). Matrice fondamentale et autocalibration en vision par ordinateur . Praca doktorska, Uniwersytet Paryski, Orsay.

• Yi Ma; Stefano Soatto ; Jana Kosecka ; S. Shankara Sastry (2004). Zaproszenie do wizji 3D . Skoczek. Numer ISBN 978-0-387-00893-6.

• Marc Pollefeys , Reinhard Koch i Luc van Gool (1999). „Samokalibracja i rekonstrukcja metryczna pomimo zmiennych i nieznanych parametrów wewnętrznych kamery”. Międzynarodowy Czasopismo Wizji Komputerowej . 32 (1): 7–25. doi : 10.1023/A:1008109111715 . S2CID  306722 .

• Philipa HS Torra (1997). „Rozwój i porównanie solidnych metod szacowania podstawowej macierzy”. Międzynarodowy Czasopismo Wizji Komputerowej . 24 (3): 271-300. doi : 10.1023/A: 1007927408552 . S2CID  12031059 .

• Philipa HS Torra i A. Zissermana (2000). „MLESAC: nowy solidny estymator z aplikacją do szacowania geometrii obrazu”. Wizja komputerowa i rozumienie obrazu . 78 (1): 138–156. CiteSeerX  10.1.1.110.5740 . doi : 10.1006/cviu.1999.0832 .

• Gang Xu i Zhengyou Zhang (1996). Geometria epipolarna w rozpoznawaniu stereo, ruchu i obiektów . Wydawnictwa Akademickie Kluwer. Numer ISBN 978-0-7923-4199-4.

• Zhengyou Zhang (1998). „Określanie geometrii epipolarnej i jej niepewności: przegląd”. Międzynarodowy Czasopismo Wizji Komputerowej . 27 (2): 161-195. doi : 10.1023/A: 1007941100561 . S2CID  3190498 .

Skrzynki narzędziowe

• fundest to biblioteka GPL C / C++ do niezawodnego , nieliniowego (opartego na algorytmie Levenberga-Marquardta ) estymacji podstawowych macierzy na podstawie dopasowanych par punktów i różnych funkcji celu (Manolis Lourakis).
• Zestaw narzędzi do struktury i ruchu w MATLAB (Philip HS Torr)
• Zestaw narzędzi do szacowania macierzy podstawowej (Joaquim Salvi)
• Zestaw narzędzi geometrii epipolarnej (EGT)

Linki zewnętrzne

• Geometria epipolarna i macierz fundamentalna (rozdział Hartleya i Zissermana)
• Określanie geometrii epipolarnej i jej niepewności: recenzja (Zhengyou Zhang)
• Wizualizacja geometrii epipolarnej (pierwotnie autorstwa Sylvaina Bougnoux z INRIA Robotvis, wymaga Java )
• The Fundamental Matrix Song Video demonstruje prawa geometrii epipolarnej.