Walidacja regresji - Regression validation

Część serii na
Analiza regresji
Modele
Regresja liniowa Prosta regresja Regresja wielomianowa Ogólny model liniowy
Uogólniony model liniowy Dyskretny wybór Regresja dwumianowa Regresja binarna Regresja logistyczna Logit wielomianowy Logit mieszany Probit Wielomianowy probit Zamówiony logit Zamówiony dowód Poissona
Model wielopoziomowy Naprawiono efekty Losowe efekty Liniowy model efektów mieszanych Nieliniowy model efektów mieszanych
Regresja nieliniowa Nieparametryczne Semiparametric Krzepki Kwantyla Izotoniczne Główne składniki Najmniejszy kąt Lokalny Segmentowane
Błędy w zmiennych
Oszacowanie
Najmniej kwadratów Liniowy Nieliniowy
Zwyczajny Ważona Uogólnione
Częściowy Całkowity Nieujemne Regresja grzbietu Regularyzowany
Najmniej odchyleń bezwzględnych Iteracyjnie ponownie ważone Bayesian Wiele zmiennych bayesowskich
tło
Walidacja regresji Średnia i przewidywana odpowiedź Błędy i pozostałości Dobroć dopasowania Pozostała studentka Twierdzenie Gaussa – Markowa
Portal matematyka
v t mi

W statystykach , walidacja regresja to proces decydowania, czy wyniki liczbowe ilościowo hipotezę relacje między zmiennymi, otrzymane z analizy regresji , są dopuszczalne jako opisów danych. Proces walidacji może obejmować analizę dopasowania regresji, analizę, czy reszty regresji są losowe i sprawdzenie, czy wydajność predykcyjna modelu znacznie się pogarsza, gdy zostanie zastosowany do danych, które nie były wykorzystywane w estymacji modelu.

Dobroć dopasowania

Jedną z miar dobroci dopasowania jest R ² ( współczynnik determinacji ), który w zwykłych najmniejszych kwadratach z punktem przecięcia wynosi od 0 do 1. Jednak wartość R ² bliska 1 nie gwarantuje, że model dobrze pasuje do danych: a kwartet anscombe'a pokazuje, wysoki R ² mogą występować w obecności być błąd w postaci funkcjonalnego związku lub w obecności skrajnych, które zniekształcają prawdziwy związek.

Jednym z problemów z R ² jako miarą trafności modelu jest to, że zawsze można ją zwiększyć, dodając więcej zmiennych do modelu, z wyjątkiem mało prawdopodobnego przypadku, gdy dodatkowe zmienne są dokładnie nieskorelowane ze zmienną zależną w używanej próbce danych. Ten problem można uniknąć robi test F o istotności statystycznej wzrostu w R ² , lub zamiast przy użyciu skorygowanej R 2 .

Analiza reszt

Do pozostałości z dopasowanym modelu są różnice w odpowiedzi obserwowanych w każdej kombinacji wartościami zmiennymi wyjaśniającymi i odpowiedniego przewidywania odpowiedzi obliczonego przy użyciu funkcji regresji. Z matematycznego punktu widzenia zapisano definicję reszty dla i- ^tej obserwacji w zbiorze danych

${\ Displaystyle e_ {i} = y_ {i} -f (x_ {i}; {\ kapelusz {\ beta}}),}$

gdzie y _i oznacza i- ^tą odpowiedź w zbiorze danych, a x _i wektor zmiennych objaśniających, z których każda ma odpowiadające wartości znalezione w i- ^tej obserwacji w zbiorze danych.

Gdyby model dopasowany do danych był poprawny, reszty przybliżałyby losowe błędy, które sprawiają, że związek między zmiennymi objaśniającymi a zmienną odpowiedzi jest zależnością statystyczną. Dlatego jeśli wydaje się, że reszty zachowują się losowo, sugeruje to, że model dobrze pasuje do danych. Z drugiej strony, jeśli nielosowa struktura jest widoczna w resztach, jest to wyraźny znak, że model słabo pasuje do danych. Następna sekcja szczegółowo opisuje typy działek, które należy wykorzystać do testowania różnych aspektów modelu i podaje poprawne interpretacje różnych wyników, które można zaobserwować dla każdego typu działki.

Graficzna analiza reszt

Podstawowym, choć nieprecyzyjnym ilościowo sposobem sprawdzenia problemów, które czynią model nieadekwatnym, jest wizualne badanie reszt (błędnych przewidywań danych użytych do kwantyfikacji modelu) w celu wyszukania oczywistych odchyleń od losowości. Jeśli badanie wizualne sugeruje na przykład możliwą obecność heteroskedastyczności (związek między wariancją błędów modelu a wielkością obserwacji zmiennej niezależnej), można przeprowadzić testy statystyczne, aby potwierdzić lub odrzucić to przeczucie; jeśli zostanie potwierdzone, wymagane są inne procedury modelowania.

Różne typy wykresów reszt z dopasowanego modelu dostarczają informacji o adekwatności różnych aspektów modelu.

1. wystarczalność części funkcjonalnej modelu: wykresy rozrzutu reszt względem predyktorów
2. zmienność niestała w danych: wykresy rozrzutu reszt względem predyktorów; w przypadku danych gromadzonych w czasie również wykresy pozostałości w czasie
3. dryf w błędach (dane zbierane w czasie): uruchom wykresy odpowiedzi i błędów w funkcji czasu
4. niezależność błędów: wykres opóźnienia
5. normalność błędów: histogram i normalny wykres prawdopodobieństwa

Metody graficzne mają przewagę nad metodami numerycznymi do walidacji modelu, ponieważ łatwo ilustrują szeroki zakres złożonych aspektów relacji między modelem a danymi.

Analiza ilościowa reszt

Metody numeryczne odgrywają również ważną rolę w walidacji modelu. Na przykład test braku dopasowania do oceny poprawności funkcjonalnej części modelu może pomóc w interpretacji granicznego wykresu reszt. Jedną z częstych sytuacji, w których metody walidacji numerycznej mają pierwszeństwo przed metodami graficznymi, jest sytuacja, gdy liczba szacowanych parametrów jest stosunkowo bliska wielkości zbioru danych. W tej sytuacji wykresy reszt są często trudne do zinterpretowania ze względu na ograniczenia reszt narzucone przez estymację nieznanych parametrów. Jednym z obszarów, w którym to się zwykle dzieje, są aplikacje optymalizacyjne z wykorzystaniem zaprojektowanych eksperymentów . Regresja logistyczna z danymi binarnymi to kolejny obszar, w którym graficzna analiza reszt może być trudna.

Szeregowa korelacja reszt może wskazywać na błędną specyfikację modelu i można ją sprawdzić za pomocą statystyki Durbina – Watsona . Problem heteroskedastyczności można sprawdzić na kilka sposobów .

Ocena poza próbą

Walidacja krzyżowa to proces oceny, w jaki sposób wyniki analizy statystycznej uogólniają się na niezależny zbiór danych. Jeżeli model został oszacowany na podstawie niektórych, ale nie wszystkich dostępnych danych, wówczas model wykorzystujący oszacowane parametry można wykorzystać do przewidywania zatrzymanych danych. Jeśli na przykład błąd średniokwadratowy poza próbą , znany również jako średni kwadratowy błąd prognozowania , jest znacznie wyższy niż błąd średniokwadratowy w próbie, jest to oznaką niedoskonałości modelu.

Rozwój statystyki medycznej polega na wykorzystaniu technik walidacji krzyżowej poza próbą w metaanalizie. Stanowi podstawę statystyki walidacyjnej Vn , która służy do testowania statystycznej trafności podsumowujących oszacowań metaanalizy. Zasadniczo mierzy typ znormalizowanego błędu prognozowania, a jego rozkład jest liniową kombinacją χ ² zmiennych stopnia 1.

Zobacz też

• Wszystkie modele są błędne
• Przedział prognozy
• Resampling (statystyki)
• Trafność wniosków statystycznych
• Specyfikacja modelu statystycznego
• Statystyczna walidacja modeli
• Ważność (statystyki)
• Współczynnik determinacji
• Niedopasowana suma kwadratów
• Zredukowany chi-kwadrat

Bibliografia

Dalsza lektura

• Arboretti Giancristofaro, R .; Salmaso, L. (2003), "Model performance analysis and model validation in logistic regression" , Statistica , 63 : 375–396
• Kmenta, Jan (1986), Elements of Econometrics (wyd. Drugie), Macmillan, str. 593–600 ; ponownie opublikowany w 1997 roku przez University of Michigan Press

Linki zewnętrzne

• Jak mogę sprawdzić, czy model pasuje do moich danych? (NIST)
• NIST / SEMATECH e-Podręcznik metod statystycznych
• Diagnostyka modelowa ( Eberly College of Science )

 Ten artykuł zawiera materiały należące do  domeny publicznej z witryny internetowej National Institute of Standards and Technology https://www.nist.gov .