Korelacja kanoniczna - Canonical correlation
Część serii na |
Uczenie maszynowe i eksploracja danych |
---|
W statystykach , analiza korelacji kanonicznej ( CCA ), zwany także zmiennych kanonicznych analizy , jest sposobem wnioskowania informacje z matrycami cross-kowariancji . Jeśli mamy dwa wektory X = ( X 1 , ..., X n ) i Y = ( Y 1 , ..., Y m ) zmiennych losowych i istnieją korelacje między zmiennymi, to analiza korelacji kanonicznych znajdź liniowe kombinacje X i Y, które mają ze sobą maksymalną korelację. TR Knapp zauważa, że „praktycznie wszystkie powszechnie spotykane parametryczne testy istotności można traktować jako szczególne przypadki analizy korelacji kanonicznej, która jest ogólną procedurą badania związków między dwoma zestawami zmiennych”. Metoda została po raz pierwszy wprowadzona przez Harolda Hotellinga w 1936 roku, chociaż w kontekście kątów między mieszkaniami koncepcja matematyczna została opublikowana przez Jordana w 1875 roku.
Definicja
Biorąc pod uwagę dwa wektory kolumnowe i z zmiennych losowych z ograniczonym drugich momentów , można określić przekrój kowariancji być matryca którego wejście jest kowariancji . W praktyce oszacowalibyśmy macierz kowariancji na podstawie próbkowanych danych z i (tj. z pary macierzy danych).
Analiza korelacji kanonicznej poszukuje wektorów ( ) i ( ) takich, aby zmienne losowe i maksymalizować korelację . Zmienne losowe i są pierwszą parą zmiennych kanonicznych . Następnie poszukuje się wektorów maksymalizujących tę samą korelację z zastrzeżeniem, że mają być nieskorelowane z pierwszą parą zmiennych kanonicznych; daje to drugą parę zmiennych kanonicznych . Ta procedura może być kontynuowana do czasu.
Obliczenie
Pochodzenie
Niech będzie macierzą kowariancji krzyżowej dla dowolnych zmiennych losowych i . Funkcja docelowa do maksymalizacji to
Pierwszym krokiem jest zdefiniowanie zmiany podstawy i zdefiniowanie
I tak mamy
Przez nierówność Cauchy-Schwarza mamy:
Istnieje równość, jeśli wektory i są współliniowe. Dodatkowo, maksimum korelacji jest osiągane, jeśli jest wektorem własnym z maksymalną wartością własną macierzy (patrz iloraz Rayleigha ). Kolejne pary znajdują się za pomocą wartości własnych o malejących wielkościach. Ortogonalność gwarantuje symetria macierzy korelacji.
Innym sposobem spojrzenia na to obliczenie jest to, że i są lewy i prawy osobliwy wektor macierzy korelacji X i Y odpowiadający najwyższej wartości osobliwej.
Rozwiązanie
Rozwiązaniem jest zatem:
- jest wektorem własnym
- jest proporcjonalny do
Wzajemnie istnieje również:
- jest wektorem własnym
- jest proporcjonalny do
Odwracając zmianę współrzędnych, mamy to
- jest wektorem własnym ,
- jest proporcjonalny do
- jest wektorem własnym
- jest proporcjonalna do .
Zmienne kanoniczne są zdefiniowane przez:
Realizacja
CCA można obliczyć za pomocą rozkładu według wartości osobliwych na macierzy korelacji. Jest dostępny jako funkcja w
- MATLAB jako canoncorr ( także w Octave )
- R jako standardowa funkcja cancor oraz kilka innych pakietów, w tym CCA i wegańskie . CCP do testowania hipotez statystycznych w kanonicznej analizie korelacji.
- SAS jako proc cancorr
- Python w bibliotece scikit-learn jako Cross decomposition oraz w statsmodels jako CanCorr .
- SPSS jako makro CanCorr dostarczane z głównym oprogramowaniem
- Julia (język programowania) w pakiecie MultivariateStats.jl .
Obliczenia CCA pomocą rozkładu pojedynczą wartość na macierzy korelacji jest związany z cosinus z kątami między mieszkaniami . Funkcja cosinus jest źle uwarunkowana dla małych kątów, co prowadzi do bardzo niedokładnych obliczeń wysoce skorelowanych wektorów głównych w arytmetyce komputerowej o skończonej precyzji . Aby rozwiązać ten problem , alternatywne algorytmy są dostępne w
- SciPy jako funkcja algebry liniowej podprzestrzeń_kąty
- MATLAB jako funkcja FileExchange podprzestrzeń
Testowanie hipotez
Każdy wiersz można przetestować pod kątem istotności za pomocą następującej metody. Ponieważ korelacje są posortowane, stwierdzenie, że wiersz ma wartość zero, oznacza, że wszystkie dalsze korelacje również są zerowe. Jeśli mamy niezależne obserwacje w próbie i jest to oszacowana korelacja dla . Dla trzeciego rzędu statystyka testu to:
który jest asymptotycznie rozłożony jako chi-kwadrat ze stopniami swobody dla dużych . Ponieważ wszystkie korelacje od do są logicznie zerowe (i w ten sposób również oszacowane), iloczyn terminów po tym punkcie jest nieistotny.
Zwróć uwagę, że w limicie małej wielkości próby mamy wtedy gwarancję, że najwyższe korelacje będą identyczne 1, a zatem test jest bezsensowny.
Praktyczne zastosowania
Typowym zastosowaniem korelacji kanonicznej w kontekście eksperymentalnym jest wzięcie dwóch zestawów zmiennych i sprawdzenie, co jest wspólne dla tych dwóch zestawów. Na przykład, w testach psychologicznych, można wziąć dwa dobrze ugruntowane wielowymiarowe testy osobowości, takie jak Minnesota Multiphasic Personality Inventory (MMPI-2) i NEO . Widząc, jak czynniki MMPI-2 odnoszą się do czynników NEO, można było uzyskać wgląd w to, jakie wymiary są wspólne dla testów i jaka część wariancji została podzielona. Na przykład może się okazać, że wymiar ekstrawersji lub neurotyczności odpowiadał za znaczną część wspólnej wariancji między tymi dwoma testami.
Można również użyć analizy korelacji kanonicznej do stworzenia równania modelowego, które wiąże dwa zestawy zmiennych, na przykład zestaw miar wydajności i zestaw zmiennych objaśniających lub zestaw wyników i zestaw danych wejściowych. Na taki model można nałożyć ograniczenia w celu zapewnienia, że odzwierciedla on wymagania teoretyczne lub intuicyjnie oczywiste warunki. Ten typ modelu jest znany jako model maksymalnej korelacji.
Wizualizacja wyników korelacji kanonicznej odbywa się zwykle za pomocą wykresów słupkowych współczynników dwóch zestawów zmiennych dla par zmiennych kanonicznych wykazujących istotną korelację. Niektórzy autorzy sugerują, że najlepiej je wizualizować, kreśląc je jako heliografie, w formacie kołowym z paskami podobnymi do promieni, gdzie każda połowa reprezentuje dwa zestawy zmiennych.
Przykłady
Niech z zerową wartością oczekiwaną , czyli . Jeśli , tj. i są doskonale skorelowane, to np. i , tak że pierwszą (i jedyną w tym przykładzie) parą zmiennych kanonicznych jest i . Jeśli , tj. i są doskonale antyskorelowane, to np. i , tak że pierwszą (i jedyną w tym przykładzie) parą zmiennych kanonicznych jest i . Zauważamy, że w obu przypadkach , co ilustruje, że analiza korelacji kanonicznych traktuje zmienne skorelowane i antyskorelowane podobnie.
Połączenie z głównymi kątami
Zakładając, że i mają zerowe wartości oczekiwane , tj. , ich macierze kowariancji i mogą być postrzegane jako macierze Grama w iloczynie wewnętrznym odpowiednio dla wpisów i . Zgodnie z tą interpretacją, zmienne losowe wpisy z i o są traktowane jako elementy miejsca wektora z produktu wewnętrznej danej przez kowariancji ; zobacz Covariance#Relational to internal products .
Definicja zmiennych kanonicznych i jest wtedy równoważna definicji wektorów głównych dla pary podprzestrzeni łączonych przez wpisy i względem tego iloczynu skalarnego . Korelacje kanoniczne jest równa cosinus z głównych kątów .
Wybielanie i probabilistyczna analiza korelacji kanonicznej
CCA można również postrzegać jako specjalną transformację wybielającą, w której losowe wektory i są jednocześnie transformowane w taki sposób, że korelacja krzyżowa między wybielonymi wektorami i jest diagonalna. Kanoniczne korelacji są następnie interpretowana jako współczynniki regresji łączącej i i mogą być ujemne. Widok regresji CCA zapewnia również sposób skonstruowania probabilistycznego modelu generatywnego zmiennej latentnej dla CCA, z nieskorelowanymi ukrytymi zmiennymi reprezentującymi zmienność wspólną i niewspółdzieloną.
Zobacz też
- Uogólniona korelacja kanoniczna
- Wieloliniowe uczenie się podprzestrzeni
- Współczynnik RV
- Kąty między mieszkaniami
- Analiza głównych składowych
- Liniowa analiza dyskryminacyjna
- Uregulowana kanoniczna analiza korelacji
- Rozkład według wartości osobliwych
- Regresja częściowa najmniejszych kwadratów
Bibliografia
Linki zewnętrzne
- Analiza korelacji dyskryminacyjnej (DCA) ( MATLAB )
- Hardoon, DR; Szedmak, S.; Shawe-Taylor, J. (2004). „Analiza korelacji kanonicznej: przegląd z zastosowaniem do metod uczenia się”. Obliczenia neuronowe . 16 (12): 2639–2664. CiteSeerX 10.1.1.14.6452 . doi : 10.1162/0899766042321814 . PMID 15516276 .
- Notatka na temat porządkowej analizy korelacji kanonicznej dwóch zestawów wyników rankingowych (Dostarcza również program FORTRAN ) – w Journal of Quantitative Economics 7(2), 2009, s. 173–199
- Reprezentacja-ograniczona analiza korelacji kanonicznej: hybrydyzacja korelacji kanonicznej i analizy głównych składowych (również program FORTRAN ) – w Journal of Applied Economic Sciences 4(1), 2009, s. 115–124
- ^ Haghighat, Mahomet; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). „Analiza korelacji dyskryminacyjnych: fuzja poziomów cech w czasie rzeczywistym dla multimodalnego rozpoznawania biometrycznego” . Transakcje IEEE dotyczące kryminalistyki i bezpieczeństwa informacji . 11 (9): 1984-1996. doi : 10.1109/TIFS.2016.2569061 .