Wybór modelu - Model selection

Aby zapoznać się z algorytmicznymi podejściami do wyboru modelu w uczeniu maszynowym , zobacz Wybór funkcji , Optymalizacja hiperparametrów i Teoria uczenia statystycznego .

Wybór modelu to zadanie wyboru modelu statystycznego ze zbioru modeli kandydujących, podanych danych. W najprostszych przypadkach bierze się pod uwagę istniejący zestaw danych. Jednak zadanie to może również obejmować projektowanie eksperymentów tak, aby zebrane dane były dobrze dopasowane do problemu wyboru modelu. Biorąc pod uwagę potencjalne modele o podobnej mocy predykcyjnej lub wyjaśniającej, najprostszy model najprawdopodobniej będzie najlepszym wyborem ( brzytwa Ockhama ).

Konishi i Kitagawa (2008 , s. 75) stwierdzają: „Większość problemów związanych z wnioskowaniem statystycznym można uznać za problemy związane z modelowaniem statystycznym”. W związku z tym Cox (2006 , s. 197) powiedział: „Jak dokonywane jest tłumaczenie problemu merytorycznego na model statystyczny jest często najbardziej krytyczną częścią analizy”.

Wybór modelu może również odnosić się do problemu wyboru kilku reprezentatywnych modeli z dużego zestawu modeli obliczeniowych na potrzeby podejmowania decyzji lub optymalizacji w warunkach niepewności.

Wprowadzenie

Cykl obserwacji naukowych.

W swoich najbardziej podstawowych formach dobór modelu jest jednym z podstawowych zadań dociekań naukowych . Ustalenie zasady wyjaśniającej szereg obserwacji jest często powiązane bezpośrednio z modelem matematycznym przewidującym te obserwacje. Na przykład, gdy Galileusz przeprowadzał swoje eksperymenty z pochyloną płaszczyzną , wykazał, że ruch kul odpowiada paraboli przewidywanej przez jego model.

Jak z niezliczonej liczby możliwych mechanizmów i procesów, które mogły wytworzyć dane, można w ogóle zacząć wybierać najlepszy model? Powszechnie stosowane podejście matematyczne decyduje o zestawie modeli kandydujących; ten zestaw musi być wybrany przez badacza. Często stosuje się proste modele, takie jak wielomiany , przynajmniej na początku. Burnham i Anderson (2002) podkreślają w swojej książce znaczenie wyboru modeli opartych na solidnych zasadach naukowych, takich jak zrozumienie procesów lub mechanizmów fenomenologicznych (np. reakcji chemicznych) leżących u podstaw danych.

Po wybraniu zestawu modeli kandydujących analiza statystyczna pozwala nam wybrać najlepszy z tych modeli. To, co rozumie się przez najlepsze, jest kontrowersyjne. Dobra technika wyboru modelu równoważy dobro dopasowania z prostotą. Bardziej złożone modele będą w stanie lepiej dostosować swój kształt do danych (na przykład wielomian piątego rzędu może dokładnie dopasować sześć punktów), ale dodatkowe parametry mogą nie przedstawiać niczego użytecznego. (Być może te sześć punktów jest po prostu losowo rozmieszczonych wokół linii prostej.) Dobroć dopasowania jest zwykle określana przy użyciu podejścia ilorazu wiarygodności lub jego przybliżenia, co prowadzi do testu chi-kwadrat . Złożoność jest zwykle mierzona przez zliczenie liczby parametrów w modelu.

Techniki wyboru modelu można traktować jako estymatory pewnych wielkości fizycznych, takich jak prawdopodobieństwo, że model wygeneruje dane dane. Stronniczość i wariancja są ważnymi miary jakości tego estymatora; często bierze się również pod uwagę wydajność .

Standardowym przykładem wyboru modelu jest dopasowywanie krzywej , gdzie mając zestaw punktów i inną podstawową wiedzę (np. punkty są wynikiem iid próbek), musimy wybrać krzywą opisującą funkcję, która wygenerowała punkty.

Dwa kierunki doboru modelu

Istnieją dwa główne cele wnioskowania i uczenia się na podstawie danych. Jednym z nich jest odkrycie naukowe, zrozumienie mechanizmu generowania danych i interpretacja natury danych. Innym celem uczenia się na podstawie danych jest przewidywanie przyszłych lub niewidzialnych obserwacji. W drugim celu badacz danych niekoniecznie dotyczy dokładnego probabilistycznego opisu danych. Oczywiście można zainteresować się również obydwoma kierunkami.

Zgodnie z dwoma różnymi celami, wybór modelu może mieć również dwa kierunki: wybór modelu do wnioskowania i wybór modelu do predykcji. Pierwszym kierunkiem jest identyfikacja najlepszego modelu danych, który najlepiej zapewni wiarygodną charakterystykę źródeł niepewności dla interpretacji naukowej. W tym celu istotne jest, aby wybrany model nie był zbyt wrażliwy na wielkość próby. W związku z tym odpowiednim pojęciem do oceny wyboru modelu jest spójność wyboru, co oznacza, że najsolidniejszy kandydat będzie konsekwentnie wybierany przy wystarczającej liczbie próbek danych.

Drugim kierunkiem jest wybór modelu jako maszyny, aby zapewnić doskonałą wydajność predykcyjną. Jednak w przypadku tych ostatnich wybrany model może być po prostu szczęśliwym zwycięzcą wśród kilku bliskich konkurentów, jednak wydajność predykcyjna może nadal być najlepsza z możliwych. Jeśli tak, wybór modelu jest dobry dla drugiego celu (prognozy), ale wykorzystanie wybranego modelu do wglądu i interpretacji może być bardzo niewiarygodne i mylące. Co więcej, w przypadku bardzo złożonych modeli wybranych w ten sposób, nawet przewidywania mogą być nieuzasadnione dla danych tylko nieznacznie różniących się od tych, na których dokonano selekcji.

Metody wspomagające wybór zestawu modeli kandydujących

Kryteria

Poniżej znajduje się lista kryteriów wyboru modelu. Najczęściej stosowanymi kryteriami są (i) kryterium informacyjne Akaike oraz (ii) czynnik Bayesa i/lub kryterium informacyjne bayesowskie (które w pewnym stopniu przybliża czynnik Bayesa), patrz Stoica i Selen (2004) .

Wśród tych kryteriów walidacja krzyżowa jest zwykle najdokładniejszą i najdroższą obliczeniowo w przypadku nadzorowanych problemów związanych z uczeniem się.

Burnham i Anderson (2002 , §6.3) mówią, co następuje:

Istnieje wiele metod doboru modeli. Jednak z punktu widzenia wydajności statystycznej metody i zamierzonego kontekstu jej użycia, istnieją tylko dwie odrębne klasy metod: Zostały one oznaczone jako wydajne i spójne . (…) Zgodnie z paradygmatem częstystowskim przy wyborze modelu generalnie wyróżnia się trzy główne podejścia: (I) optymalizacja niektórych kryteriów wyboru, (II) testowanie hipotez oraz (III) metody ad hoc.

Zobacz też

Uwagi

Bibliografia