Ważona metoda najmniejszych kwadratów - Weighted least squares

Część serii na
Analiza regresji
Modele
Regresja liniowa Prosta regresja Regresja wielomianowa Ogólny model liniowy
Uogólniony model liniowy Dyskretny wybór Regresja dwumianowa Regresja binarna Regresja logistyczna Wielomianowa regresja logistyczna Logit mieszany Probit Wielomianowy probit Zamówiony logit Zamówiony probit Poissona
Model wielopoziomowy Naprawiono efekty Efekty losowe Liniowy model efektów mieszanych Nieliniowy model efektów mieszanych
Regresja nieliniowa Nieparametryczny Semiparametric Krzepki Kwantyl Izotoniczny Główne składniki Najmniejszy kąt Lokalny Segmentowane
Błędy w zmiennych
Oszacowanie
Najmniej kwadratów Liniowy Nieliniowy
Zwyczajny Ważony Uogólnione
Częściowy Całkowity Nieujemny Regresja grzbietu Regularyzowany
Najmniejsze bezwzględne odchylenia Iteracyjnie ponownie ważony Bayesian Bayesowskie wielowymiarowe
tło
Walidacja regresji Średnia i przewidywana odpowiedź Błędy i pozostałości Dobroć dopasowania Studentyzowane rezydualne Twierdzenie Gaussa-Markowa
Portal matematyczny
v t mi

Ważone najmniejsze kwadraty ( WLS ), znane również jako ważona regresja liniowa , jest uogólnieniem zwykłych najmniejszych kwadratów i regresji liniowej, w których wiedza o wariancji obserwacji jest włączona do regresji. WLS to także specjalizacja uogólnionych najmniejszych kwadratów .

Wprowadzenie

Specjalny przypadek uogólnionych najmniejszych kwadratów zwanych ważonymi najmniejszymi kwadratami występuje, gdy wszystkie niediagonalne wpisy Ω (macierz korelacji reszt) są zerowe; odchylenia od obserwacji (wzdłuż przekątnej macierzy kowariancji) wciąż może być różne ( Heteroskedastyczność ).

Dopasowanie modelu do punktu danych jest mierzone jego resztą , zdefiniowaną jako różnica między zmierzoną wartością zmiennej zależnej, a wartością przewidywaną przez model, : ${\displaystyle r_{i}}$${\displaystyle y_{i}}$${\ displaystyle f (x_ {i}, {\ boldsymbol {\ beta}})}$

${\ Displaystyle R_ {i} ({\ boldsymbol {\ beta}}) = Y_ {i}-f (x_ {i} {\ boldsymbol {\ beta}}).}$

Jeśli błędy są nieskorelowane i mają równą wariancję, to funkcja

${\ Displaystyle S ({\ pogrubienie {\ beta}}) = \ suma _ {i} r_ {i} ({\ pogrubienie {\ beta}}) ^ {2}}$,

jest zminimalizowany o , tak że . ${\displaystyle {\boldsymbol {\kapelusz {\beta}}}}$${\ Displaystyle {\ Frac {\ częściowy S} {\ częściowy \ beta _ {j}}} ({\ kapelusz {\ pogrubiony symbol {\ beta}}}) = 0}$

Twierdzenie Gaussa-Markowa pokazuje, że jeśli tak jest, jest to najlepszy liniowy bezstronny estymator ( NIEBIESKI ). Jeżeli jednak pomiary nie są skorelowane, ale mają różne niepewności, można zastosować zmodyfikowane podejście. Aitken, wykazały, że przy ważonej sumy kwadratu reszt jest zminimalizowane, IS GREEN , jeżeli każdy waga jest równa odwrotności wariancją pomiaru ${\displaystyle {\kapelusz {\boldsymbol {\beta}}}}$${\displaystyle {\kapelusz {\boldsymbol {\beta}}}}$

${\ Displaystyle {\ zacząć {wyrównany} S & = \ suma _ {i = 1} ^ {n} W_ {ii} {r_ {i}} ^ {2}, W_ {ii} i = {\ Frac {1} {{\ sigma _ {i}} ^ {2}}} \ end {aligned}}}$

Równania gradientu dla tej sumy kwadratów to

${\ Displaystyle -2 \ suma _ {i} W_ {ii} {\ Frac {\ częściowy f (x_ {i}, {\ pogrubiony symbol {\ beta}})} {\ częściowy \ beta _ {j}}} r_ {i}=0,\quad j=1,\ldots ,m}$

które w liniowym układzie najmniejszych kwadratów dają zmodyfikowane równania normalne,

${\ displaystyle \ sum _ {i = 1} ^ {n} \ sum _ {k = 1} ^ {m} X_ {ij} W_ {ii} X_ {ik} {\ hat {\ beta}} _ {k }=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$

Gdy błędy obserwacji nie są skorelowane, a macierz wag W , jest diagonalna, można je zapisać jako

${\ Displaystyle \ mathbf {\ lewo (X ^ {\ textsf {T}} WX \ po prawej) {\ kapelusz {\ pogrubiony symbol {\ beta}}} = X ^ {\ textsf {T}} Wy}.}$

Jeśli błędy są skorelowane, otrzymany estymator jest NIEBIESKI, jeśli macierz wag jest równa odwrotności macierzy wariancji-kowariancji obserwacji.

Gdy błędy nie są skorelowane, wygodnie jest uprościć obliczenia, aby podzielić macierz wag jako . Równania normalne można następnie zapisać w tej samej postaci, co zwykłe najmniejszych kwadratów: ${\ Displaystyle w_ {ii} = {\ sqrt {W_ {ii}}}}$

${\ Displaystyle \ mathbf {\ lewo (X'^ {\ textsf {T}} X '\ po prawej) {\ kapelusz {\ pogrubienie {\ beta}}} = X '^ {\ textsf {T}} y'} \,}$

gdzie definiujemy następującą skalowaną macierz i wektor:

${\ Displaystyle {\ zacząć {wyrównany} \ mathbf {X'} & = \ operatorname {diag} \ lewo (\ mathbf {w} \ prawej) \ mathbf {X}, \ \ \ mathbf {y}} & = \ operatorname {diag} \left(\mathbf {w} \right)\mathbf {y} =\mathbf {y} \oslash \mathbf {\sigma } .\end{aligned}}}$

Jest to rodzaj transformacji wybielającej ; ostatnie wyrażenie obejmuje dzielenie według wpisu .

W przypadku nieliniowych systemów najmniejszych kwadratów podobny argument pokazuje, że równania normalne należy zmodyfikować w następujący sposób.

${\ Displaystyle \ mathbf {\ lewo (J ^ {\ textsf {T}} WJ \ po prawej) \ {\ boldsymbol {\ Delta}} \ beta = J ^ {\ textsf {T}} W \ {\ boldsymbol {\Delta }}y} .\,}$

Należy zauważyć, że w przypadku testów empirycznych odpowiednie W nie jest na pewno znane i należy je oszacować. W tym celu można zastosować uogólnione techniki najmniejszych kwadratów (FGLS); w tym przypadku specjalizuje się w macierzy kowariancji diagonalnej, dając w ten sposób wykonalne rozwiązanie ważone metodą najmniejszych kwadratów.

Jeżeli niepewność obserwacji nie jest znana ze źródeł zewnętrznych, wówczas wagi można oszacować na podstawie danych obserwacji. Może to być przydatne na przykład do identyfikacji wartości odstających. Po usunięciu wartości odstających ze zbioru danych wagi powinny zostać zresetowane do jednego.

Motywacja

W niektórych przypadkach obserwacje mogą być ważone — na przykład mogą nie być równie wiarygodne. W tym przypadku można zminimalizować ważoną sumę kwadratów:

${\ Displaystyle {\ underset {\ boldsymbol {\ beta}} {\ operatorname {arg \ min}}} \ \ suma _ {i = 1} ^ {n} w_ {i} \ lewo | y_ {i} - \sum _{j=1}^{m}X_{ij}\beta _{j}\right|^{2}={\underset {\boldsymbol {\beta }}{\operatorname {arg\ min} } }\,\left\|W^{\frac {1}{2}}\left(\mathbf {y} -X{\boldsymbol {\beta }}\right)\right\|^{2}.}$

gdzie w _i > 0 jest wagą i- tej obserwacji, a W jest macierzą diagonalną takich wag.

Masy, idealnym rozwiązaniem jest równa odwrotności o wariancji pomiaru. (To oznacza, że ​​obserwacje są nieskorelowane. Jeżeli obserwacje są skorelowane , wyrażenie ma zastosowanie. W takim przypadku macierz wag powinna idealnie być równa odwrotności macierzy wariancji-kowariancji obserwacji). Normalne równania są zatem: ${\ textstyle S = \ sum _ {k} \ sum _ {j} r_ {k} W_ {kj} r_ {j} \,}$

${\ Displaystyle \ lewo (X ^ {\ textsf {T}} WX \ po prawej) {\ kapelusz {\ pogrubienie {\ beta}}} = X ^ {\ textsf {T}} W \ mathbf {y}.}$

Ta metoda jest używana w iteracyjnie ważonych najmniejszych kwadratach .

Błędy parametrów i korelacja

Szacowane wartości parametrów są liniowymi kombinacjami obserwowanych wartości

${\ Displaystyle {\ kapelusz {\ boldsymbol {\ beta}}} = (X ^ {\ textsf {T}} WX) ^ {-1} X ^ {\ textsf {T}} W \ mathbf {y}.}$

Dlatego wyrażenie na oszacowaną macierz wariancji-kowariancji oszacowań parametrów można uzyskać przez propagację błędu z błędów w obserwacjach. Niech macierz wariancji-kowariancji dla obserwacji będzie oznaczona przez M, a macierz oszacowanych parametrów przez M ^β . Następnie

${\ Displaystyle M ^ {\ beta} = \ lewo (X ^ {\ textsf {T}} WX \ prawej) ^ {-1} X ^ {\ textsf {T}} WMW ^ {\ textsf {T}} X \left(X^{\textsf {T}}W^{\textsf {T}}X\right)^{-1}.}$

Gdy W = M ⁻¹ , upraszcza się to do

${\ Displaystyle M ^ {\ beta} = \ lewo (X ^ {\ textsf {T}} WX \ prawej) ^ {-1}.}$

Gdy stosuje się wagi jednostkowe ( W = I , macierz jednostkowa ), zakłada się, że błędy eksperymentalne są nieskorelowane i wszystkie są równe: M = σ ² I , gdzie σ ² jest a priori wariancją obserwacji. W każdym razie σ ² jest aproksymowane przez zredukowane chi-kwadrat : ${\ Displaystyle \ chi _ {\ nu} ^ {2}}$

${\ Displaystyle {\ zacząć {wyrównany} M ^ {\ beta} & = \ chi _ {\ nu} ^ {2} \ lewo (X ^ {\ textsf {T}} WX \ po prawej) ^ {-1}, \\\chi _{\nu }^{2}&=S/\nu ,\end{wyrównany}}}$

gdzie S jest minimalną wartością (ważonej) funkcji celu :

${\ Displaystyle S = r ^ {\ textsf {T}} Wr.}$

Mianownik , to liczba stopni swobody ; zobacz efektywne stopnie swobody dla uogólnień dla przypadku obserwacji skorelowanych. ${\ Displaystyle \ nu = nm}$

We wszystkich przypadkach odchylenie od oszacowania parametrów jest podana przez i kowariancji pomiędzy parametrem szacuje, i jest przez . Odchylenie standardowe jest pierwiastek kwadratowy wariancji, i współczynnik korelacji jest przez . Te oszacowania błędów odzwierciedlają tylko przypadkowe błędy w pomiarach. Prawdziwa niepewność parametrów jest większa ze względu na występowanie błędów systematycznych , których z definicji nie można określić ilościowo. Należy zauważyć, że nawet jeśli obserwacje mogą być nieskorelowane, parametry są zwykle skorelowane . ${\displaystyle {\kapelusz {\beta}}_{i}}$${\ Displaystyle M_ {ii} ^ {\ beta}}$${\displaystyle {\kapelusz {\beta}}_{i}}$${\ Displaystyle {\ kapelusz {\ beta}} _ {j}}$${\ Displaystyle M_ {ij} ^ {\ beta}}$${\ Displaystyle \ sigma _ {i} = {\ sqrt {M_ {ii} ^ {\ beta}}}}$${\ Displaystyle \ rho _ {ij} = M_ {ij} ^ {\ beta} / (\ sigma _ {i} \ sigma _ {j})}$

Granice ufności parametru

Często zakłada się , z braku konkretnych dowodów, ale często odwołując się do centralnego twierdzenia granicznego — patrz Rozkład normalny#Występowanie i zastosowania — że błąd każdej obserwacji należy do rozkładu normalnego ze średnią zerową i odchyleniem standardowym . Przy tym założeniu można wyprowadzić następujące prawdopodobieństwa dla oszacowania pojedynczego parametru skalarnego w kategoriach jego oszacowanego błędu standardowego (podanego tutaj ): ${\displaystyle \sigma}$${\displaystyle se_{\beta}}$

68%, że przedział obejmuje rzeczywistą wartość współczynnika${\displaystyle {\kapelusz {\beta}}\pm se_{\beta}}$

95%, że przedział obejmuje rzeczywistą wartość współczynnika${\displaystyle {\kapelusz {\beta}}\pm 2se_{\beta}}$

99%, że przedział obejmuje rzeczywistą wartość współczynnika${\displaystyle {\kapelusz {\beta}}\pm 2,5se_{\beta}}$

Założenie nie jest nierozsądne, gdy m  >>  n . Jeśli błędy eksperymentalne mają rozkład normalny, parametry będą należeć do rozkładu t-Studenta z m  -  n stopniami swobody . Gdy m  ≫  n rozkład t-Studenta jest zbliżony do rozkładu normalnego. Należy jednak zauważyć, że te granice ufności nie mogą uwzględniać błędu systematycznego. Również błędy parametrów należy podawać tylko do jednej cyfry znaczącej, ponieważ podlegają one błędom próbkowania .

Gdy liczba obserwacji jest stosunkowo niewielka, nierówność Czebyczowa można wykorzystać jako górną granicę prawdopodobieństw, niezależnie od jakichkolwiek założeń dotyczących rozkładu błędów eksperymentalnych: maksymalne prawdopodobieństwo, że parametr będzie większy niż 1, 2 lub 3 odchylenia standardowe od wartości oczekiwanej wynoszą odpowiednio 100%, 25% i 11%.

Wartości resztowe i korelacja

Te pozostałości są związane z uwagami

${\ Displaystyle \ mathbf {\ kapelusz {r}} = \ mathbf {y} -X {\ kapelusz {\ pogrubienie {\ beta}}} = \ mathbf {y} -H \ mathbf {y} = (IH) \ mathbf {y},}$

gdzie H jest macierzą idempotentną znaną jako macierz kapelusza :

${\ Displaystyle H = X \ lewo (X ^ {\ textsf {T}} WX \ po prawej) ^ {-1} X ^ {\ textsf {T}} W}$

a ja jest macierzą tożsamości . Macierz wariancji-kowariancji reszt, M ^r jest dana przez

${\ Displaystyle M ^ {\ mathbf {R}} = (IH) M (IH) ^ {\ textsf {T}}.}$

Zatem reszty są skorelowane, nawet jeśli obserwacje nie są.

Kiedy , ${\ Displaystyle W = M ^ {- 1}}$

${\ Displaystyle M ^ {\ mathbf {r}} = (IH) M.}$

Suma ważonych wartości rezydualnych jest równa zeru, gdy funkcja modelu zawiera wyraz stały. Pomnóż wyrażenie dla reszt przez X ^T W ^T :

${\ Displaystyle X ^ {\ textsf {T}} W {\ kapelusz {\ mathbf {R}}} = X ^ {\ textsf {T}} W \ mathbf {y} - X ^ {\ textsf {T}} WX{\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}W\mathbf {y} -\left(X^{\rm {T}}WX\right)\left(X ^{\textsf {T}}WX\right)^{-1}X^{\textsf {T}}W\mathbf {y} =\mathbf {0} .}$

Powiedzmy na przykład, że pierwszy wyraz modelu jest stałą, więc dla wszystkich i . W takim przypadku wynika, że ${\ Displaystyle X_ {i1} = 1}$

${\ Displaystyle \ suma _ {i} ^ {m} X_ {i1} W_ {i} {\ kapelusz {R}} _ {i} = \ suma _ {i} ^ {m} W_ {i} {\ kapelusz {r}}_{i}=0.}$

Zatem w powyższym przykładzie motywacyjnym fakt, że suma wartości rezydualnych jest równa zeru, nie jest przypadkowy, lecz jest konsekwencją obecności w modelu składnika stałego α.

Jeśli błąd eksperymentalny jest zgodny z rozkładem normalnym , to ze względu na liniową zależność między resztami a obserwacjami, tak samo powinny być reszty, ale ponieważ obserwacje są tylko próbką populacji wszystkich możliwych obserwacji, reszty powinny należeć do rozkładu t-Studenta . Studentyzowane reszty są przydatne do wykonania testu statystycznego dla wartości odstających, gdy dana reszta wydaje się być zbyt duża.

Zobacz też

• Iteracyjnie przeważone najmniejsze kwadraty
• Błędy standardowe zgodne z heteroskedastycznością
• Średnia ważona

Bibliografia