Korelacja kanoniczna - Canonical correlation

W statystykach , analiza korelacji kanonicznej ( CCA ), zwany także zmiennych kanonicznych analizy , jest sposobem wnioskowania informacje z matrycami cross-kowariancji . Jeśli mamy dwa wektory X  = ( X 1 , ...,  X n ) i Y  = ( Y 1 , ...,  Y m ) zmiennych losowych i istnieją korelacje między zmiennymi, to analiza korelacji kanonicznych znajdź liniowe kombinacje X i Y, które mają ze sobą maksymalną korelację. TR Knapp zauważa, że ​​„praktycznie wszystkie powszechnie spotykane parametryczne testy istotności można traktować jako szczególne przypadki analizy korelacji kanonicznej, która jest ogólną procedurą badania związków między dwoma zestawami zmiennych”. Metoda została po raz pierwszy wprowadzona przez Harolda Hotellinga w 1936 roku, chociaż w kontekście kątów między mieszkaniami koncepcja matematyczna została opublikowana przez Jordana w 1875 roku.

Definicja

Biorąc pod uwagę dwa wektory kolumnowe i z zmiennych losowych z ograniczonym drugich momentów , można określić przekrój kowariancji być matryca którego wejście jest kowariancji . W praktyce oszacowalibyśmy macierz kowariancji na podstawie próbkowanych danych z i (tj. z pary macierzy danych).

Analiza korelacji kanonicznej poszukuje wektorów ( ) i ( ) takich, aby zmienne losowe i maksymalizować korelację . Zmienne losowe i są pierwszą parą zmiennych kanonicznych . Następnie poszukuje się wektorów maksymalizujących tę samą korelację z zastrzeżeniem, że mają być nieskorelowane z pierwszą parą zmiennych kanonicznych; daje to drugą parę zmiennych kanonicznych . Ta procedura może być kontynuowana do czasu.

Obliczenie

Pochodzenie

Niech będzie macierzą kowariancji krzyżowej dla dowolnych zmiennych losowych i . Funkcja docelowa do maksymalizacji to

Pierwszym krokiem jest zdefiniowanie zmiany podstawy i zdefiniowanie

I tak mamy

Przez nierówność Cauchy-Schwarza mamy:

Istnieje równość, jeśli wektory i są współliniowe. Dodatkowo, maksimum korelacji jest osiągane, jeśli jest wektorem własnym z maksymalną wartością własną macierzy (patrz iloraz Rayleigha ). Kolejne pary znajdują się za pomocą wartości własnych o malejących wielkościach. Ortogonalność gwarantuje symetria macierzy korelacji.

Innym sposobem spojrzenia na to obliczenie jest to, że i są lewy i prawy osobliwy wektor macierzy korelacji X i Y odpowiadający najwyższej wartości osobliwej.

Rozwiązanie

Rozwiązaniem jest zatem:

  • jest wektorem własnym
  • jest proporcjonalny do

Wzajemnie istnieje również:

  • jest wektorem własnym
  • jest proporcjonalny do

Odwracając zmianę współrzędnych, mamy to

  • jest wektorem własnym ,
  • jest proporcjonalny do
  • jest wektorem własnym
  • jest proporcjonalna do .

Zmienne kanoniczne są zdefiniowane przez:

Realizacja

CCA można obliczyć za pomocą rozkładu według wartości osobliwych na macierzy korelacji. Jest dostępny jako funkcja w

Obliczenia CCA pomocą rozkładu pojedynczą wartość na macierzy korelacji jest związany z cosinus z kątami między mieszkaniami . Funkcja cosinus jest źle uwarunkowana dla małych kątów, co prowadzi do bardzo niedokładnych obliczeń wysoce skorelowanych wektorów głównych w arytmetyce komputerowej o skończonej precyzji . Aby rozwiązać ten problem , alternatywne algorytmy są dostępne w

Testowanie hipotez

Każdy wiersz można przetestować pod kątem istotności za pomocą następującej metody. Ponieważ korelacje są posortowane, stwierdzenie, że wiersz ma wartość zero, oznacza, że ​​wszystkie dalsze korelacje również są zerowe. Jeśli mamy niezależne obserwacje w próbie i jest to oszacowana korelacja dla . Dla trzeciego rzędu statystyka testu to:

który jest asymptotycznie rozłożony jako chi-kwadrat ze stopniami swobody dla dużych . Ponieważ wszystkie korelacje od do są logicznie zerowe (i w ten sposób również oszacowane), iloczyn terminów po tym punkcie jest nieistotny.

Zwróć uwagę, że w limicie małej wielkości próby mamy wtedy gwarancję, że najwyższe korelacje będą identyczne 1, a zatem test jest bezsensowny.

Praktyczne zastosowania

Typowym zastosowaniem korelacji kanonicznej w kontekście eksperymentalnym jest wzięcie dwóch zestawów zmiennych i sprawdzenie, co jest wspólne dla tych dwóch zestawów. Na przykład, w testach psychologicznych, można wziąć dwa dobrze ugruntowane wielowymiarowe testy osobowości, takie jak Minnesota Multiphasic Personality Inventory (MMPI-2) i NEO . Widząc, jak czynniki MMPI-2 odnoszą się do czynników NEO, można było uzyskać wgląd w to, jakie wymiary są wspólne dla testów i jaka część wariancji została podzielona. Na przykład może się okazać, że wymiar ekstrawersji lub neurotyczności odpowiadał za znaczną część wspólnej wariancji między tymi dwoma testami.

Można również użyć analizy korelacji kanonicznej do stworzenia równania modelowego, które wiąże dwa zestawy zmiennych, na przykład zestaw miar wydajności i zestaw zmiennych objaśniających lub zestaw wyników i zestaw danych wejściowych. Na taki model można nałożyć ograniczenia w celu zapewnienia, że ​​odzwierciedla on wymagania teoretyczne lub intuicyjnie oczywiste warunki. Ten typ modelu jest znany jako model maksymalnej korelacji.

Wizualizacja wyników korelacji kanonicznej odbywa się zwykle za pomocą wykresów słupkowych współczynników dwóch zestawów zmiennych dla par zmiennych kanonicznych wykazujących istotną korelację. Niektórzy autorzy sugerują, że najlepiej je wizualizować, kreśląc je jako heliografie, w formacie kołowym z paskami podobnymi do promieni, gdzie każda połowa reprezentuje dwa zestawy zmiennych.

Przykłady

Niech z zerową wartością oczekiwaną , czyli . Jeśli , tj. i są doskonale skorelowane, to np. i , tak że pierwszą (i jedyną w tym przykładzie) parą zmiennych kanonicznych jest i . Jeśli , tj. i są doskonale antyskorelowane, to np. i , tak że pierwszą (i jedyną w tym przykładzie) parą zmiennych kanonicznych jest i . Zauważamy, że w obu przypadkach , co ilustruje, że analiza korelacji kanonicznych traktuje zmienne skorelowane i antyskorelowane podobnie.

Połączenie z głównymi kątami

Zakładając, że i mają zerowe wartości oczekiwane , tj. , ich macierze kowariancji i mogą być postrzegane jako macierze Grama w iloczynie wewnętrznym odpowiednio dla wpisów i . Zgodnie z tą interpretacją, zmienne losowe wpisy z i o są traktowane jako elementy miejsca wektora z produktu wewnętrznej danej przez kowariancji ; zobacz Covariance#Relational to internal products .

Definicja zmiennych kanonicznych i jest wtedy równoważna definicji wektorów głównych dla pary podprzestrzeni łączonych przez wpisy i względem tego iloczynu skalarnego . Korelacje kanoniczne jest równa cosinus z głównych kątów .

Wybielanie i probabilistyczna analiza korelacji kanonicznej

CCA można również postrzegać jako specjalną transformację wybielającą, w której losowe wektory i są jednocześnie transformowane w taki sposób, że korelacja krzyżowa między wybielonymi wektorami i jest diagonalna. Kanoniczne korelacji są następnie interpretowana jako współczynniki regresji łączącej i i mogą być ujemne. Widok regresji CCA zapewnia również sposób skonstruowania probabilistycznego modelu generatywnego zmiennej latentnej dla CCA, z nieskorelowanymi ukrytymi zmiennymi reprezentującymi zmienność wspólną i niewspółdzieloną.

Zobacz też

Bibliografia

Linki zewnętrzne

  1. ^ Haghighat, Mahomet; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). „Analiza korelacji dyskryminacyjnych: fuzja poziomów cech w czasie rzeczywistym dla multimodalnego rozpoznawania biometrycznego” . Transakcje IEEE dotyczące kryminalistyki i bezpieczeństwa informacji . 11 (9): 1984-1996. doi : 10.1109/TIFS.2016.2569061 .