Odwrotność Moore'a-Penrose'a - Moore–Penrose inverse

W matematyce , w szczególności Algebra liniowego The odwrotny Moore-Penrose'a z matrycy jest powszechnie znany uogólnienie na macierz odwrotna . Został on opisany przez niezależnie EH Moore w 1920 roku Arne Bjerhammar w 1951 roku, a Roger Penrose w roku 1955. Wcześniej, Erik Ivar Fredholma wprowadził koncepcję pseudoinverse z operatorami zintegrowanymi w roku 1903. W odniesieniu do matrycy, termin pseudoinverse , bez Dalsza specyfikacja, jest często używany do wskazania odwrotności Moore'a-Penrose'a. Termin uogólniona odwrotność jest czasami używana jako synonim pseudoodwrotności.

Powszechnym zastosowaniem pseudoodwrotności jest obliczenie „najlepszego dopasowania” ( najmniejszych kwadratów ) rozwiązania układu równań liniowych, który nie ma rozwiązania (patrz poniżej w § Zastosowania ). Innym zastosowaniem jest znalezienie rozwiązania normy minimalnej ( euklidesowej ) dla układu równań liniowych z wieloma rozwiązaniami. Pseudoodwrotność ułatwia zestawianie i sprawdzanie wyników w algebrze liniowej.

Pseudoodwrotność jest zdefiniowana i unikalna dla wszystkich macierzy, których wpisy są liczbami rzeczywistymi lub zespolonymi . Można go obliczyć przy użyciu rozkładu na wartości osobliwe .

Notacja

W poniższej dyskusji przyjęto następujące konwencje.

  • oznaczać będzie jednego z pól liczb rzeczywistych i złożonych, oznaczonych , odpowiednio:. Przestrzeń wektorowa macierzy powyżej oznaczona jest przez .
  • Dla , i oznaczają odpowiednio transpozycję transponowaną i transpozycję hermitowską (zwaną również transpozycją sprzężoną ). Jeśli , to .
  • For , (oznaczający „ zakres ”) oznacza przestrzeń kolumn (obraz) (przestrzeń objętą wektorami kolumn ) i oznacza jądro (przestrzeń pusta) .
  • Na koniec, dla każdej liczby całkowitej , oznacza macierz jednostkową .

Definicja

Dla , pseudoodwrotność A jest zdefiniowana jako macierz spełniająca wszystkie z następujących czterech kryteriów, znanych jako warunki Moore'a-Penrose'a:

  1. nie musi być ogólną macierzą jednostkową, ale odwzorowuje wszystkie wektory kolumnowe A na siebie;
  2. zachowuje się jak słaba odwrotność ;
  3. jest hermitianem ;
  4. jest także hermitianem.

istnieje dla dowolnej macierzy A , ale gdy ta ostatnia ma pełną rangę (czyli rząd A wynosi ), to może być wyrażona jako prosta formuła algebraiczna.

W szczególności, gdy ma liniowo niezależne kolumny (a więc macierz jest odwracalna), można obliczyć jako

Ta szczególna pseudoodwrotność stanowi odwrotność lewostronną , ponieważ w tym przypadku .

Gdy A ma liniowo niezależne wiersze (macierz jest odwracalna), można obliczyć jako

To jest prawo odwrotne , jak .

Nieruchomości

Istnienie i wyjątkowość

Pseudoodwrotność istnieje i jest unikalna: dla każdej macierzy , istnieje dokładnie jedna macierz , która spełnia cztery właściwości definicji.

Macierz spełniająca pierwszy warunek definicji nazywana jest odwrotnością uogólnioną. Jeśli macierz spełnia również warunki drugiej definicji, nazywa się ją uogólnioną odwrotnością zwrotną . Uogólnione odwrotności zawsze istnieją, ale generalnie nie są niepowtarzalne. Wyjątkowość jest konsekwencją dwóch ostatnich warunków.

Podstawowe właściwości

  • Jeśli ma rzeczywiste wpisy, to tak samo .
  • Jeśli jest odwracalny , jego pseudoodwrotność jest jego odwrotnością. To znaczy .
  • Pseudoodwrotnością macierzy zerowej jest jej transpozycja.
  • Pseudoodwrotnością pseudoodwrotności jest oryginalna macierz: .
  • Pseudoinwersja komutuje z transpozycją, koniugacją złożoną i transpozycją koniugatu:
    , , .
  • Pseudoodwrotność skalarnej wielokrotności jest odwrotną wielokrotnością :
    dla .

Tożsamości

Poniższe tożsamości mogą służyć do anulowania pewnych podwyrażeń lub rozwinięcia wyrażeń zawierających pseudoodwrotności. Dowody na te właściwości można znaleźć na podstronie z dowodami .

Redukcja do przypadku hermitowskiego

Obliczenie pseudoodwrotności sprowadza się do jej konstrukcji w przypadku hermitowskim. Jest to możliwe dzięki ekwiwalentom:

jak i są hermitami.

Produkty

Załóżmy . Wtedy następujące są równoważne:

Następujące warunki są wystarczającymi warunkami dla :

  1. ma kolumny ortonormalne (wtedy ), lub
  2. ma ortonormalne wiersze (wtedy ), lub
  3. ma liniowo niezależne kolumny (wtedy ) i ma liniowo niezależne wiersze (wtedy ), lub
  4. , lub
  5. .

Warunkiem koniecznym dla :

Ostatni warunek wystarczający daje równości

Uwaga: Ogólnie rzecz biorąc, równość nie obowiązuje. Zobacz kontrprzykład:

Projektory

i są operatorami rzutowania ortogonalnego , to znaczy są hermitowskie ( , ) i idempotentne ( i ). Następujące wstrzymanie:

  • oraz
  • jest prostopadły projektor na przedziale od (co równa się ortogonalne dopełnienie z jądra ).
  • jest rzutnikiem ortogonalnym na zakres (co jest równe dopełnieniu ortogonalnemu jądra ).
  • jest rzutnikiem ortogonalnym na jądro .
  • jest rzutnikiem ortogonalnym na jądro .

Ostatnie dwie właściwości implikują następujące tożsamości:

Inna właściwość jest następująca: jeśli jest hermitowski i idempotentny (prawdziwe wtedy i tylko wtedy, gdy reprezentuje rzut ortogonalny), to dla dowolnej macierzy zachodzi następujące równanie:

Można to udowodnić, definiując macierze , i sprawdzając, czy rzeczywiście jest to pseudoodwrotność , sprawdzając, czy właściwości definiujące pseudoodwrotności zachowują się, gdy jest hermitowska i idempotentna.

Z ostatniej własności wynika, że ​​jeśli jest hermitowski i idempotentny, dla dowolnej macierzy

Wreszcie, jeśli jest macierzą rzutowania ortogonalnego, to jej pseudoodwrotność trywialnie pokrywa się z samą macierzą, czyli .

Konstrukcja geometryczna

Jeśli spojrzymy na macierz jako liniową mapę nad polem, to można ją rozłożyć w następujący sposób. Piszemy dla sumy bezpośredniej , dla dopełnienia ortogonalnego , dla jądra mapy i dla obrazu mapy. Zauważ, że i . Ograniczeniem jest więc izomorfizm. Oznacza to, że on jest odwrotnością tego izomorfizmu i wynosi zero on

Innymi słowy: Aby znaleźć dla podanego w , najpierw rzutuj prostopadle na zakres , znajdując punkt w tym zakresie. Następnie forma , czyli znajdź te wektory, które wysyła do . Będzie to podprzestrzeń afiniczna równoległa do jądra . Element tej podprzestrzeni, który ma najmniejszą długość (czyli jest najbliżej początku) jest odpowiedzią, której szukamy. Można go znaleźć, biorąc dowolny element członkowski i rzutując go prostopadle na dopełnienie ortogonalne jądra .

Opis ten jest ściśle związany z rozwiązaniem Minimalnej normy dla systemu liniowego .

Podprzestrzenie

Ogranicz relacje

Pseudoodwrotność to granice:

(patrz regularyzacja Tichonowa ). Ograniczenia te występują nawet jeśli lub nie istnieje.

Ciągłość

W przeciwieństwie do zwykłej inwersji macierzy, proces przyjmowania pseudoodwrotności nie jest ciągły : jeśli ciąg zbiega się z macierzą (np. w normie maksymalnej lub normie Frobeniusa ), to nie musi być zbieżny do . Jeśli jednak wszystkie macierze mają tę samą rangę co , zbiegną się do .

Pochodna

Pochodną pseudoodwrotnej macierzy o wartościach rzeczywistych, która ma stały rząd w punkcie, można obliczyć jako pochodną macierzy pierwotnej:

Przykłady

Ponieważ w przypadku macierzy odwracalnych pseudoodwrotność równa się zwykłej odwrotności, poniżej omówiono tylko przykłady macierzy nieodwracalnych.

  • Dla pseudoodwrotności jest (Zazwyczaj pseudoodwrotnością macierzy zerowej jest jej transpozycja). Wyjątkowość tej pseudoodwrotności można zobaczyć z wymagania , ponieważ mnożenie przez macierz zerową zawsze dałoby macierz zerową.
  • Bo pseudoodwrotność to

    Rzeczywiście, a zatem

    Podobnie, a więc
  • Do
  • Dla (mianownikami są .)
  • Do
  • Dla pseudoodwrotności jest Dla tej macierzy istnieje lewa odwrotność , a zatem równa się w rzeczywistości

Przypadki specjalne

Skalary

Możliwe jest również zdefiniowanie pseudoodwrotności dla skalarów i wektorów. Sprowadza się to do traktowania ich jako macierzy. Pseudoodwrotność skalara wynosi zero, jeśli jest zerem i odwrotność w przeciwnym wypadku:

Wektory

Pseudoodwrotnością wektora zerowego (wszystkie zero) jest transponowany wektor zerowy. Pseudoodwrotność niezerowego wektora to sprzężony transponowany wektor podzielony przez jego wielkość do kwadratu:

Kolumny liniowo niezależne

Jeśli kolumny o są liniowo niezależne (tak, że ), to jest odwracalne. W tym przypadku wyraźna formuła to:

.

Wynika z tego, że jest to lewa odwrotność :   .

Liniowo niezależne rzędy

Jeśli rzędów z liniowo niezależne (tak ), a następnie jest odwracalny. W tym przypadku wyraźna formuła to:

.

Wynika z tego, że jest to prawe odwrotność :   .

Kolumny lub wiersze ortonormalne

Jest to szczególny przypadek pełnej rangi kolumny lub pełnej rangi wiersza (opisane powyżej). Jeśli ma ortonormalne kolumny ( ) lub ortonormalne wiersze ( ), to:

Macierze normalne

If jest macierzą normalną ; to znaczy dojeżdża z transpozycją sprzężoną; następnie jego pseudoodwrotność można obliczyć przez diagonalizację go, mapowanie wszystkich niezerowych wartości własnych na ich odwrotności i mapowanie zerowych wartości własnych na zero. Konsekwencją jest to, że dojazdy z transpozycją implikują dojazdy ze swoją pseudoodwrotnością.

Macierze projekcji ortogonalnej

Jest to szczególny przypadek macierzy normalnej o wartościach własnych 0 i 1. Jeśli jest macierzą rzutowania ortogonalnego, czyli i , to pseudoodwrotność trywialnie pokrywa się z samą macierzą:

Macierze cyrkulacyjne

W przypadku macierzy cyrkulacyjnej rozkład według wartości osobliwych jest określony przez transformatę Fouriera , to znaczy wartości osobliwe są współczynnikami Fouriera. Niech będzie macierzą dyskretnej transformacji Fouriera (DFT) , wtedy

Budowa

Rozkład rang

Niech oznaczają rangę z . Następnie można (ranga) rozłożyć na gdzie i mają rangę . Następnie .

Metoda QR

Dla obliczania produktu lub i ich odwrotności wyraźnie jest często źródłem błędów zaokrąglania liczbowych i kosztów w praktyce obliczeniowej. Zamiast tego można zastosować alternatywne podejście wykorzystujące rozkład QR .

Rozważmy przypadek, w którym ma pełną rangę kolumny, aby . Następnie można zastosować rozkład Choleskiego , gdzie jest górna trójkątna macierz . Mnożenie przez odwrotność jest następnie wykonywane łatwo, rozwiązując układ z wieloma prawymi stronami,

co można rozwiązać przez podstawienie w przód, a następnie podstawienie wsteczne .

Rozkład Cholesky'ego można obliczyć bez wyraźnego formowania , alternatywnie stosując rozkład QR z , gdzie ma kolumny ortonormalne , i jest trójkątny górny. Następnie

tak samo jest czynnik Cholesky'ego .

Podobnie traktuje się przypadek pełnej rangi wiersza przy użyciu formuły i podobnego argumentu, zamieniając role i .

Rozkład według wartości osobliwych (SVD)

Prostym obliczeniowo i dokładnym sposobem obliczenia pseudoodwrotności jest użycie dekompozycji na wartości osobliwe . Jeśli jest rozkładem wartości osobliwych , to . W przypadku prostokątnej macierzy przekątnej, takiej jak , uzyskujemy pseudoodwrotność, biorąc odwrotność każdego niezerowego elementu na przekątnej, pozostawiając zera na miejscu, a następnie transponując macierz. W obliczeniach numerycznych tylko elementy większe niż pewna mała tolerancja są uważane za niezerowe, a pozostałe są zastępowane zerami. Na przykład, w MATLAB lub GNU oktawy funkcji PINV tolerancja, przyjmuje się, że T = ε⋅max ( m , n ) ⋅max (Σ) , gdzie ε jest epsilon maszyny .

Koszt obliczeniowy tej metody jest zdominowany przez koszt obliczenia SVD, który jest kilkakrotnie wyższy niż mnożenie macierz-macierz, nawet przy zastosowaniu najnowocześniejszej implementacji (takiej jak LAPACK ).

Powyższa procedura pokazuje, dlaczego przyjmowanie pseudoodwrotności nie jest operacją ciągłą: jeśli oryginalna macierz ma wartość pojedynczą 0 (ukośny wpis macierzy powyżej), to niewielka modyfikacja może zmienić to zero w małą liczbę dodatnią, wpływając w ten sposób na pseudoodwrotność dramatycznie, ponieważ teraz musimy przyjąć odwrotność niewielkiej liczby.

Macierze blokowe

Istnieją zoptymalizowane podejścia do obliczania pseudoodwrotności macierzy o strukturze blokowej.

Iteracyjna metoda Ben-Izraela i Cohena

Inna metoda obliczania pseudoodwrotności (por. Drazin odwrotność ) wykorzystuje rekurencję

co jest czasami określane jako sekwencja hiper-mocy. Ta rekurencja tworzy sekwencję zbieżną kwadratowo do pseudoodwrotności, jeśli jest rozpoczęta z odpowiednim spełniającym . Wybór (gdzie , oznaczający największą wartość osobliwą ) argumentowano, że nie jest konkurencyjny dla metody wykorzystującej wspomnianą wyżej metodę SVD, ponieważ nawet w przypadku umiarkowanie źle uwarunkowanych macierzy upływa dużo czasu, zanim wejdzie w obszar zbieżności kwadratowej. Jeśli jednak zacznie się już blisko odwrotności Moore-Penrose'a i , na przykład , konwergencja jest szybka (kwadratowa).

Aktualizacja pseudoodwrotności

Dla przypadków, w których jest już znana pełna ranga wiersza lub kolumny, a odwrotność macierzy korelacji ( dla pełnej rangi wiersza lub pełnej rangi kolumny) jest już znana, pseudoodwrotność dla macierzy powiązanych z można obliczyć, stosując metodę Shermana-Morrisona– Wzór Woodbury do aktualizacji odwrotności macierzy korelacji, co może wymagać mniej pracy. W szczególności, jeśli powiązana macierz różni się od oryginalnej tylko zmienionym, dodanym lub usuniętym wierszem lub kolumną, istnieją algorytmy przyrostowe, które wykorzystują tę relację.

Podobnie można zaktualizować współczynnik Cholesky'ego po dodaniu wiersza lub kolumny bez jawnego tworzenia odwrotności macierzy korelacji. Jednak aktualizacja pseudoodwrotności w przypadku ogólnego braku rang jest znacznie bardziej skomplikowana.

Biblioteki oprogramowania

Wysokiej jakości implementacje SVD, QR i zastępowania wstecznego są dostępne w standardowych bibliotekach , takich jak LAPACK . Pisanie własnej implementacji SVD to duży projekt programistyczny, który wymaga znacznej wiedzy numerycznej . Jednak w szczególnych okolicznościach, takich jak obliczenia równoległe lub obliczenia wbudowane , preferowane mogą być alternatywne implementacje QR lub nawet użycie jawnej odwrotności, a niestandardowe implementacje mogą być nieuniknione.

Pakiet Pythona NumPy zapewnia obliczenia pseudoodwrotne poprzez swoje funkcje matrix.Ii linalg.pinv; jego pinvzastosowania algorytmu SVD-dokumentowany. SciPy dodaje funkcję, scipy.linalg.pinvktóra używa solvera najmniejszych kwadratów.

Pakiet MASS dla R zapewnia obliczenie odwrotności Moore'a-Penrose'a przez ginvfunkcję. ginvOblicza się pseudoinverse pomocą rozkładu wartości dostarczonych przez pojedynczą svdfunkcji w pakiecie zasady R. Alternatywą jest wykorzystanie pinvfunkcji dostępnej w pakiecie pracma.

Język programowania Octave zapewnia pseudoodwrotność poprzez standardową funkcję pakietu pinvi pseudo_inverse()metodę.

W Julia (język programowania) pakiet LinearAlgebra biblioteki standardowej zapewnia implementację odwrotności Moore'a-Penrose'a pinv()zaimplementowaną przez rozkład na wartości singularne.

Aplikacje

Liniowy najmniejszych kwadratów

Pseudoodwrotność zapewnia rozwiązanie układu równań liniowych metodą najmniejszych kwadratów . Dla danego układu równań liniowych

ogólnie rzecz biorąc, wektor, który rozwiązuje system, może nie istnieć, a jeśli taki istnieje, może nie być unikalny. Pseudoodwrotność rozwiązuje problem najmniejszych kwadratów w następujący sposób:

  • mamy gdzie i oznacza normę euklidesową . Ta słaba nierówność zachodzi z równością wtedy i tylko wtedy, gdy dla dowolnego wektora ; zapewnia to nieskończoną liczbę rozwiązań minimalizujących, chyba że ma pełny rząd kolumny, w którym to przypadku jest macierz zerowa. Rozwiązaniem o minimalnej normie euklidesowej jest

Wynik ten można łatwo rozszerzyć na systemy z wieloma prawymi stronami, gdy normę euklidesową zastępuje norma Frobeniusa. Niech .

  • mamy gdzie i oznacza normę Frobeniusa .

Uzyskanie wszystkich rozwiązań układu liniowego

Jeśli system liniowy

ma jakieś rozwiązania, wszystkie są podane przez

dla dowolnego wektora . Rozwiązania istnieją wtedy i tylko wtedy, gdy . Jeśli to drugie jest słuszne, to rozwiązanie jest unikalne wtedy i tylko wtedy, gdy ma pełną rangę kolumny, w tym przypadku macierz zerową. Jeśli rozwiązania istnieją, ale nie mają pełnego rzędu kolumny, to mamy układ nieokreślony , którego nieskończoność rozwiązań jest określona przez to ostatnie równanie.

Minimalne rozwiązanie normy dla układu liniowego

W przypadku układów liniowych z nieunikalnymi rozwiązaniami (takich jak układy niedookreślone), pseudoodwrotność można wykorzystać do skonstruowania rozwiązania o minimalnej normie euklidesowej spośród wszystkich rozwiązań.

  • Jeśli jest spełnialny, wektor jest rozwiązaniem i spełnia wszystkie rozwiązania.

Wynik ten można łatwo rozszerzyć na systemy z wieloma prawymi stronami, gdy normę euklidesową zastępuje norma Frobeniusa. Niech .

  • Jeśli jest spełnialna, macierz jest rozwiązaniem i spełnia wszystkie rozwiązania.

Numer warunku

Korzystając z pseudoodwrotności i normy macierzy , można zdefiniować numer warunku dla dowolnej macierzy:

Duża liczba warunków implikuje, że problem znajdowania rozwiązań najmniejszych kwadratów odpowiedniego układu równań liniowych jest źle uwarunkowany w tym sensie, że małe błędy we wpisach mogą prowadzić do ogromnych błędów we wpisach rozwiązania.

Uogólnienia

Oprócz macierzy nad liczbami rzeczywistymi i zespolonymi, warunki obowiązują dla macierzy nad bikwaternionami , zwanych także „kwaternionami złożonymi”.

Aby rozwiązać bardziej ogólne problemy najmniejszych kwadratów, można zdefiniować odwrotności Moore'a-Penrose'a dla wszystkich ciągłych operatorów liniowych między dwiema przestrzeniami Hilberta i , używając tych samych czterech warunków, jak w naszej definicji powyżej. Okazuje się, że nie każdy ciągły operator liniowy ma w tym sensie ciągłą liniową pseudoodwrotność. Te, które to robią, to właśnie te, których zasięg jest zamknięty w .

Pojęcie pseudoodwrotności istnieje dla macierzy nad dowolnym ciałem wyposażonym w dowolny automorfizm ewolwentowy . W tym bardziej ogólnym ustawieniu dana macierz nie zawsze ma pseudoodwrotność. Warunkiem koniecznym i wystarczającym istnienia pseudoodwrotności jest warunek gdzie gdzie oznacza wynik zastosowania operacji inwolucji do transpozycji . Kiedy istnieje, jest wyjątkowy. Przykład : Rozważmy pole liczb zespolonych wyposażone w inwolucję tożsamościową (w przeciwieństwie do inwolucji rozważanej w innym miejscu artykułu); czy istnieją macierze, które nie mają pseudoodwrotności w tym sensie? Rozważmy macierz . Zauważ, że póki . Więc ta macierz nie ma pseudoodwrotności w tym sensie.

W algebrze abstrakcyjnej odwrotność Moore'a-Penrose'a można zdefiniować na *-regularnej półgrupie . Ta abstrakcyjna definicja pokrywa się z tą w algebrze liniowej.

Zobacz też

Uwagi

Bibliografia

Zewnętrzne linki