Struktura z ruchu - Structure from motion

Structure from motion ( SfM ) to technika obrazowania w zakresie fotogrametrycznym służąca do szacowania trójwymiarowych struktur na podstawie dwuwymiarowych sekwencji obrazów, które mogą być sprzężone z lokalnymi sygnałami ruchu . Jest badany w dziedzinie widzenia komputerowego i percepcji wzrokowej . W widzeniu biologicznym SfM odnosi się do zjawiska, dzięki któremu ludzie (i inne żywe stworzenia) mogą odzyskać strukturę 3D z rzutowanego pola ruchu 2D (siatkówki) poruszającego się obiektu lub sceny.

Zasada

Cyfrowy model powierzchni placu budowy węzła autostradowego

Prawdziwe zdjęcie x SfM z kolorem tekstury x SfM z prostym shaderem. Wykonane w Pythonie Photogrametry Toolbox GUI i renderowane w Blenderze z Cyklami.

Cyfrowy model powierzchni lotniska Bezmiechowa 3D wyekstrahowany z danych zebranych podczas 30- minutowego lotu UAV Pteryx

Ludzie odbierają wiele informacji o trójwymiarowej strukturze w swoim otoczeniu, poruszając się po niej. Kiedy obserwator się porusza, obiekty wokół niego poruszają się w różnym stopniu w zależności od ich odległości od obserwatora. Jest to znane jako paralaksa ruchu i z tej głębokości informacje mogą być wykorzystywane do generowania dokładnej reprezentacji 3D otaczającego ich świata.

Znalezienie struktury na podstawie ruchu przedstawia podobny problem, jak znalezienie struktury na podstawie widzenia stereoskopowego . W obu przypadkach należy znaleźć zgodność między obrazami a rekonstrukcją obiektu 3D.

Aby znaleźć zgodność między obrazami, elementy, takie jak punkty narożne (krawędzie z gradientami w wielu kierunkach), są śledzone od jednego obrazu do drugiego. Jednym z najczęściej używanych detektorów cech jest transformacja cech niezmienna w skali (SIFT). Jako cechy wykorzystuje maksima z piramidy różnicy Gaussa (DOG). Pierwszym krokiem w SIFT jest znalezienie dominującego kierunku gradientu. Aby uczynić go niezmiennym przy obrocie, deskryptor jest obracany w celu dopasowania do tej orientacji. Innym popularnym wykrywaczem funkcji jest SURF ( przyśpieszone, niezawodne funkcje ). W SURF DOG został zastąpiony detektorem plamek opartym na macierzy Hessian . Ponadto, zamiast oceniać histogramy gradientu, funkcja SURF oblicza sumy składowych gradientu i sumy ich wartości bezwzględnych. Wykorzystanie integralnych obrazów pozwala na niezwykle szybkie wykrycie cech przy wysokim współczynniku wykrywania. Dlatego w porównaniu do SIFT, SURF jest szybszym wykrywaczem cech z wadą mniejszej dokładności w położeniu cech. Innym rodzajem cech, które ostatnio stały się praktyczne dla konstrukcji z ruchu, są ogólne krzywe (np. lokalnie krawędź z gradientami w jednym kierunku), część technologii znanej jako bezcelowe SfM , przydatne, gdy cechy punktowe są niewystarczające, powszechne w środowiskach stworzonych przez człowieka.

Cechy wykryte ze wszystkich obrazów zostaną wówczas dopasowane. Jednym z algorytmów dopasowujących, które śledzą cechy z jednego obrazu na drugi, jest tracker Lukas-Kanade .

Czasami niektóre z dopasowanych cech są niepoprawnie dopasowane. Dlatego też dopasowania powinny być również filtrowane. RANSAC (random sample consensus) to algorytm, który jest zwykle używany do usuwania odstających przyporządkowań. W artykule Fischlera i Bollesa RANSAC jest używany do rozwiązania problemu określania lokalizacji (LDP), którego celem jest określenie punktów w przestrzeni, które rzutują na obraz na zestaw punktów orientacyjnych o znanych lokalizacjach.

Trajektorie obiektów w czasie są następnie wykorzystywane do rekonstrukcji ich pozycji 3D i ruchu kamery. Alternatywą są tak zwane podejścia bezpośrednie, w których informacje geometryczne (struktura 3D i ruch kamery) są szacowane bezpośrednio na podstawie obrazów, bez pośredniej abstrakcji do cech lub narożników.

Istnieje kilka podejść do struktury z ruchu. W przyrostowym SFM pozy kamery są rozwiązywane i dodawane pojedynczo do kolekcji. W globalnym SFM pozy wszystkich kamer są rozwiązywane w tym samym czasie. Nieco pośrednim podejściem jest SFM poza rdzeniem , w którym obliczanych jest kilka częściowych rekonstrukcji, które są następnie integrowane w rozwiązanie globalne.

Aplikacje

Nauki o Ziemi

Struktura z fotogrametrii Motion z wielowidokowym stereo zapewnia hiperskalowe modele ukształtowania terenu wykorzystujące obrazy uzyskane z szeregu kamer cyfrowych i opcjonalnie sieć naziemnych punktów kontrolnych. Technika ta nie jest ograniczona pod względem częstotliwości czasowej i może zapewnić dane chmury punktów porównywalne pod względem gęstości i dokładności z danymi generowanymi przez naziemne i lotnicze skanowanie laserowe za ułamek kosztów. Struktura z ruchu jest również przydatna w odległych lub trudnych środowiskach, w których naziemne skanowanie laserowe jest ograniczone przez przenośność sprzętu, a lotnicze skanowanie laserowe jest ograniczone przez chropowatość terenu powodującą utratę danych i skracanie obrazu. Technika ta została zastosowana w wielu miejscach, takich jak rzeki, nieużytki, piaszczyste wybrzeża, strefy uskoków, osuwiska i rafy koralowe. SfM jest również z powodzeniem stosowany do oceny dużej objętości akumulacji drewna i porowatości w systemach rzecznych, a także do charakteryzacji mas skalnych poprzez określenie niektórych właściwości, takich jak orientacja, trwałość itp. nieciągłości. Można korzystać z pełnej gamy aparatów cyfrowych, w tym lustrzanek cyfrowych, kompaktowych aparatów cyfrowych, a nawet smartfonów. Generalnie jednak wyższą dokładność danych uzyska się za pomocą droższych kamer, które zawierają obiektywy o wyższej jakości optycznej. Technika ta oferuje zatem ekscytujące możliwości scharakteryzowania topografii powierzchni z bezprecedensową szczegółowością oraz, za pomocą danych wieloczasowych, do wykrywania wysokości, pozycji i zmian objętościowych, które są symptomatyczne dla procesów powierzchniowych. Strukturę z ruchu można umieścić w kontekście innych cyfrowych metod geodezyjnych.

Dziedzictwo kulturowe

Dziedzictwo kulturowe jest obecne wszędzie. Jego kontrola strukturalna, dokumentacja i konserwacja jest jednym z głównych obowiązków ludzkości ( UNESCO ). Z tego punktu widzenia SfM jest wykorzystywane w celu prawidłowego oszacowania sytuacji, a także planowania i konserwacji wysiłków i kosztów, kontroli i przywracania. Ponieważ często istnieją poważne ograniczenia związane z dostępnością terenu i niemożliwością zainstalowania inwazyjnych filarów geodezyjnych, które nie pozwalały na zastosowanie tradycyjnych procedur pomiarowych (takich jak tachimetry), SfM zapewnia nieinwazyjne podejście do konstrukcji, bez bezpośredniej interakcji między strukturą a dowolnym operatorem. Użycie jest dokładne, ponieważ potrzebne są tylko względy jakościowe. Jest wystarczająco szybki, aby odpowiedzieć na bieżące potrzeby zarządzania zabytkiem. Pierwsza faza działania to dokładne przygotowanie pomiarów fotogrametrycznych, w których ustalana jest zależność pomiędzy najlepszą odległością od obiektu, ogniskową, odległością próbkowania gruntu (GSD) oraz rozdzielczością czujnika. Mając te informacje, zaprogramowane akwizycje fotograficzne muszą być wykonane z pionowym nakładaniem się co najmniej 60% (rysunek 02).

Ponadto fotogrametria struktury z ruchu stanowi nieinwazyjną, wysoce elastyczną i niedrogą metodologię do digitalizacji dokumentów historycznych.

Zobacz też

Dalsza lektura

• Jonathan L. Carrivick, Mark W. Smith, Duncan J. Quincey (2016). Struktura ruchu w naukach o Ziemi . Wileya-Blackwella. 208 stron. ISBN  978-1-118-89584-9
• Richard Hartley i Andrew Zisserman (2003). Geometria wielu widoków w wizji komputerowej . Wydawnictwo Uniwersytetu Cambridge. Numer ISBN 978-0-521-54051-3.
• Olivier Faugeras i Quang-Tuan Luong i Theodore Papadopoulo (2001). Geometria wielu obrazów . MIT Naciśnij. Numer ISBN 978-0-262-06220-6.
• Yi Ma; S. Shankar Sastry ; Jana Koseckiej ; Stefano Soatto (listopad 2003). Zaproszenie do wizji 3D: od obrazów do modeli geometrycznych . Interdyscyplinarna seria matematyki stosowanej, nr 26. Springer-Verlag Nowy Jork, LLC. Numer ISBN 978-0-387-00893-6.

Bibliografia