Oznacza i przewidywaną reakcję - Mean and predicted response

Część serii na statystyki
Analiza regresji
modele
regresja liniowa prosta regresji regresja wielomianowa Ogólny model liniowy
Uogólniony model liniowy dyskretny wybór regresji logistycznej wielomianu logarytmicznej mieszane logarytmicznej probitowy wielomianu probitowy Zamówiłem logarytmicznej Zamówiłem probitowy Poisson
wielopoziomowe modelu trwałe efekty losowe efekty Model mieszany
regresja nieliniowa nieparametryczny parametryczne Krzepki kwantyl izotoniczny Główne składniki najmniej kąt Lokalny segmentowane
Błędy-in-variables
Oszacowanie
najmniejszych kwadratów Liniowy Nieliniowy
Zwyczajny ważona uogólnione
Częściowy Całkowity Nieujemna regresja Ridge uregulowana
Najmniej odchyleń iteracyjnie ponownemu równoważeniu Bayesa Bayesa wieloczynnikowej
tło
walidacji modelu regresji Oznacza i przewidzieć odpowiedź Błędy i reszty Dobroć dopasowania studentyzowane resztkowa Twierdzenie Gaussa-Markowa
Portal Statystyki
v T mi

W regresji liniowej , średniej reakcji i przewidzianą odpowiedź są wartości zmiennej zależnej obliczonego na podstawie parametrów regresji i danej wartości zmiennych niezależnych. Wartości tych reakcji są takie same, ale ich wariancje obliczane są różne.

tło

W montażu linii prostej, model jest

${\ Displaystyle Y_ {i} = \ a + \ beta x_ {i} + \ varepsilon _ {i} \}$

gdzie jest zmienną odpowiedzi , jest zmienna objaśniająca , ε _i jest błąd losowy, a i są parametrami. Średnią i przewidywana wartość odpowiedzi dla danej wartości wyjaśniającym x _d , podaje ${\ Displaystyle Y_ {i}}$${\ Displaystyle x_ {i}}$${\ Displaystyle \ a}$${\ Displaystyle \ p}$

${\ Displaystyle {\ kapelusz {y}} _ {dn} = {\ hat {\ a}} + {\ hat {\ p}} x_ {d}}$

podczas gdy rzeczywista odpowiedź byłaby

${\ Displaystyle Y_ {dn} = \ a + \ beta x_ {d} + \ varepsilon _ {d} \}$

Wyrażenia dla wartości i wariancje i podano w regresji liniowej . ${\ Displaystyle {\ hat {\ a}}}$${\ Displaystyle {\ hat {\ p}}}$

oznaczać odpowiedź

Ponieważ dane w niniejszym kontekście określa się jako ( x , y ) pary dla każdej obserwacji, o średniej odpowiedzi na danej wartości x , powiedzmy x _d jest oszacowanie średniej z y wartości w ludności w x wartość x _D , to jest . Wariancja średniej odpowiedzi jest podana przez ${\ Displaystyle {\ kapelusz {E}} (r \ mid x_ {d}) \ równoważnika {\ kapelusz {y}} _ {d} \!}$

${\ Displaystyle \ OperatorName {parametr} \ lewo ({\ hat {\ a}} + {\ hat {\ p}} x_ {d} \ prawej) = \ OperatorName {parametr} \ lewo ({\ hat {\ alfa }} \ prawej) + \ lewo (\ OperatorName {parametr} {\ hat {\ p}} \ prawej) x_ {d} ^ {2} + 2x_ {d} \ OperatorName {Cov} \ lewo ({\ kapelusz { \ a}}, {\ hat {\ p}} \ prawej).}$

Wyrażenie to można uprościć

${\ Displaystyle \ OperatorName {parametr} \ lewo ({\ hat {\ a}} + {\ hat {\ p}} x_ {d} \ prawej) = \ Sigma ^ {2} \ lewo ({\ Frac {1 } {m}} + {\ Frac {\ lewo (x_ {d} - {\ bar {x}} \ prawej) ^ {2}} {\ suma (x_ {i} - {\ bar {x}}) ^ {2}}} \ prawej)}$

gdzie m jest liczbą punktów danych.

Aby zademonstrować to uproszczenie, można skorzystać z tożsamości

${\ Suma displaystyle \ (x_ {i} - {\ bar {x}}) ^ {2} = \ x_ suma {i} ^ {2} - {\ Frac {1} {m}} \ lewo (\ suma x_ {i} \ prawej) ^ {2}.}$

Przewidywana odpowiedź

Przewidzianą odpowiedź rozkład jest przewidziany rozkład reszt w danym punkcie x _d . Więc wariancja jest dana przez

${\ Displaystyle \ OperatorName {parametr} \ lewo (Y_ {d} - \ lewo [{\ hat {\ a}} + {\ hat {\ p}} x_ {d} \ prawo] \ prawej) = \ OperatorName { var} (Y_ {d}) + \ OperatorName {var} \ lewo ({\ hat {\ a}} + {\ hat {\ p}} x_ {d} \ prawej).}$

Druga część tej wypowiedzi został obliczony dla średnią reakcję. Ponieważ (ustalonym ale nieznanym parametrem, który można oszacować), wariancja przewidzianą odpowiedź jest podana przez ${\ Displaystyle \ OperatorName {parametr} (Y_ {d}) = \ Sigma ^ {2}}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ OperatorName {parametr} \ lewo (Y_ {d} - \ lewo [{\ hat {\ a}} + {\ hat {\ p}} x_ {d} \ prawo] \ w prawo) i = \ Sigma ^ {2} + \ Sigma ^ {2} \ lewo ({\ Frac {1} {m}} + {\ Frac {\ lewo (x_ {d} - {\ bar {x}} \ prawej) ^ {2}} {\ suma (x_ {i} - {\ bar {x}}) ^ {2}}} \ prawej) \\ [4pt] = \ Sigma ^ {2} \ lewo ( 1 + {\ Frac {1} {m}} + {\ Frac {(x_ {d} - {\ bar {x}}) ^ {2}} {\ suma (x_ {i} - {\ bar {x }}) ^ {2}}} \ prawej). \ {koniec wyrównane}}}$

przedziały ufności

Te przedziały ufności są obliczane jako . Zatem przedział ufności dla przewidzianą odpowiedź jest szersza niż odstęp do średniej odpowiedzi. Jest to oczekiwane intuicyjnie - wariancja populacji wartości nie kurczy się, gdy jeden próbek z nim, ponieważ zmienna losowa ε _I nie zmniejsza, ale odchylenie od średniej z nie kurczą się ze zwiększonym pobieraniem próbek, ponieważ zróżnicowanie i spadek, więc średnia odpowiedź (przewidywana wartość odpowiedź) staje się bliższy . ${\ Displaystyle 100 (1 \ a) \%}$${\ Displaystyle Y_ {d} \ pm t _ {{\ Frac {\ {alfa}}} 2, MN-1} {\ sqrt {\ OperatorName {parametr}}}}$${\ Y} displaystyle$${\ Y} displaystyle$${\ Displaystyle {\ hat {\ a}}}$${\ Displaystyle {\ hat {\ p}}}$${\ Displaystyle \ a + \ p x_ {d}}$

Jest to analogiczne do różnicy między wariancji populacji i wariancji średniej próbki populacji: wariancja populacji jest parametrem i nie zmienia, ale wariancja średniej próbki maleje ze wzrostem próbek.

Ogólne regresji liniowej

Ogólny model liniowy może być zapisana jako

${\ Displaystyle Y_ {i} = \ _ suma j = {1} ^ {n} X_ {ij} \ _ p {j} + \ varepsilon _ {i} \}$

W związku z tym, ponieważ ogólny wyraz dla wariancji średnia odpowiedź jest ${\ Displaystyle Y_ {dn} = \ _ suma j = {1} ^ {n} X_ {dj} {\ hat {\ _ p}}}} {J$

${\ Displaystyle \ OperatorName {parametr} \ lewo (\ suma _ {j = 1} ^ {n} X_ {dj} {\ hat {\ p}} _ {j} \ prawej) = \ suma _ {i = 1 } ^ {A} \ _ suma j = {1} ^ {n} X_ {di} S_ {ij} X_ {dj}}$

gdzie S jest macierzą kowariancji parametrów, podanych

${\ Displaystyle \ mathbf {s} = \ Sigma ^ {2} \ lewo (\ mathbf {X ^ {\ mathsf {T}} X} \ prawej) ^ {. - 1}}$

Referencje

• Draper NR; Smith, H. (1998). Zastosowanie analizy regresji (3rd ed.). John Wiley. ISBN  0-471-17082-8 .