Prawdopodobieństwo a posteriori - Posterior probability

Część serii na
Statystyki bayesowskie
Teoria
Dopuszczalna zasada decyzji Efektywność bayesowska epistemologia bayesowska prawdopodobieństwo bayesowskie Interpretacje prawdopodobieństwa Twierdzenie Bayesa Współczynnik Bayesa Wnioskowanie bayesowskie Sieć bayesowska Wcześniejszy Tylny Prawdopodobieństwo Koniugat przed Przewidywanie a posteriori Hiperparametr Nadrzędny Zasada obojętności Zasada maksymalnej entropii Empiryczna metoda Bayesa Zasada Cromwella Twierdzenie Bernsteina-von Misesa Kryterium Schwarza Wiarygodny interwał Maksymalne oszacowanie a posteriori Radykalny probabilizm
Techniki
Bayesowska regresja liniowa estymator bayesowski Przybliżone obliczenia bayesowskie Łańcuch Markowa Monte Carlo
Portal matematyczny
v T mi

W Bayesa statystycznych The prawdopodobieństwo a posteriori o zdarzenia losowego lub niepewnej propozycji jest prawdopodobieństwo warunkowe , który jest przypisany po odpowiednim dowodów lub tło jest brane pod uwagę. „Posterior” w tym kontekście oznacza po uwzględnieniu odpowiednich dowodów związanych z konkretną badaną sprawą.

Rozkład prawdopodobieństwa a posteriori to rozkład prawdopodobieństwa nieznanej wielkości, traktowany jako zmienna losowa , zależny od dowodów uzyskanych z eksperymentu lub badania.

Definicja

Prawdopodobieństwo a posteriori to prawdopodobieństwo parametrów podanych w dowodach : . ${\displaystyle \theta}$${\ Displaystyle X}$${\displaystyle p(\theta |X)}$

Kontrastuje to z funkcją wiarygodności , która jest prawdopodobieństwem dowodu o danych parametrach: . ${\displaystyle p(X|\theta)}$

Oba są powiązane w następujący sposób:

Biorąc pod uwagę wcześniejsze przekonanie, że funkcja rozkładu prawdopodobieństwa jest i że obserwacje mają wiarogodność , wtedy prawdopodobieństwo a posteriori definiuje się jako ${\displaystyle p(\theta)}$${\displaystyle x}$${\displaystyle p(x|\theta)}$

${\ Displaystyle p (\ theta | x) = {\ Frac {p (x | \ theta)} {p (x)}} p (\ theta)}$

gdzie jest stałą normalizującą i jest obliczana jako ${\displaystyle p(x)}$

${\displaystyle p(x)=\int p(x|\theta)p(\theta)d\theta}$

for Continuous lub przez sumowanie wszystkich możliwych wartości for discrete . ${\displaystyle \theta}$${\displaystyle p(x|\theta)p(\theta)}$${\displaystyle \theta}$${\displaystyle \theta}$

Prawdopodobieństwo a posteriori jest zatem proporcjonalne do iloczynu Prawdopodobieństwo · Prawdopodobieństwo a priori .

Przykład

Załóżmy, że istnieje szkoła, w której uczy się 60% chłopców i 40% dziewcząt. Dziewczęta noszą spodnie lub spódnice w równych ilościach; wszyscy chłopcy noszą spodnie. Obserwator widzi (przypadkowego) ucznia z daleka; wszystko, co obserwator może zobaczyć, to to, że ten uczeń ma na sobie spodnie. Jakie jest prawdopodobieństwo, że ta studentka jest dziewczyną? Poprawną odpowiedź można obliczyć za pomocą twierdzenia Bayesa.

Zdarzenie polega na tym, że obserwowany uczeń jest dziewczyną, a obserwowany uczeń ma na sobie spodnie. Aby obliczyć prawdopodobieństwo a posteriori najpierw musimy wiedzieć: ${\ Displaystyle G}$${\ Displaystyle T}$${\ Displaystyle P (G | T)}$

• ${\ Displaystyle P (G)}$lub prawdopodobieństwo, że uczeń jest dziewczyną, niezależnie od jakichkolwiek innych informacji. Ponieważ obserwator widzi losowego ucznia, co oznacza, że ​​wszyscy uczniowie mają takie samo prawdopodobieństwo bycia obserwowanymi, a odsetek dziewcząt wśród uczniów wynosi 40%, prawdopodobieństwo to wynosi 0,4.
• ${\ Displaystyle P (B)}$, lub prawdopodobieństwo, że uczeń nie jest dziewczynką (tj. chłopcem) niezależnie od jakichkolwiek innych informacji ( jest wydarzeniem uzupełniającym do ). To jest 60%, czyli 0,6.${\ Displaystyle B}$${\ Displaystyle G}$
• ${\ Displaystyle P (T | G)}$lub prawdopodobieństwo, że uczeń będzie nosił spodnie, biorąc pod uwagę, że uczeń jest dziewczyną. Ponieważ tak samo chętnie noszą spódnice jak spodnie, jest to 0,5.
• ${\ Displaystyle P (T | B)}$lub prawdopodobieństwo, że uczeń nosi spodnie, biorąc pod uwagę, że uczeń jest chłopcem. Jest to podane jako 1.
• ${\displaystyle P(T)}$lub prawdopodobieństwo, że (losowo wybrany) uczeń nosi spodnie niezależnie od jakichkolwiek innych informacji. Ponieważ (poprzez prawo całkowitego prawdopodobieństwa ), to jest .${\ Displaystyle P (T) = P (T | G) P (G) + P (T | B) P (B)}$${\ Displaystyle P (T) = 0,5 \ razy 0,4 + 1 \ razy 0,6 = 0,8}$

Biorąc pod uwagę wszystkie te informacje, prawdopodobieństwo, że obserwator zauważył dziewczynę, biorąc pod uwagę, że obserwowany uczeń ma na sobie spodnie, można obliczyć, podstawiając te wartości do wzoru:

${\ Displaystyle P (G | T) = {\ Frac {P (T | G) P (G)} {P (T)}} = {\ Frac {0,5 \ razy 0,4} {0,8}} = 0,25.}$

Intuicyjnym sposobem rozwiązania tego problemu jest założenie, że szkoła ma N uczniów. Liczba chłopców = 0,6N i liczba dziewcząt = 0,4N. Jeśli N jest wystarczająco duże, całkowita liczba osób noszących spodnie = 0,6N+ 50% z 0,4N. A liczba dziewczynek noszących spodnie = 50% z 0,4N. Dlatego w populacji spodni dziewczęta to (50% z 0,4N)/(0,6N+ 50% z 0,4N) = 25%. Innymi słowy, jeśli oddzielisz grupę noszących spodnie, jedną czwartą tej grupy będą dziewczyny. Dlatego jeśli widzisz spodnie, jedyne, co możesz wywnioskować, to to, że patrzysz na pojedynczą próbkę z podzbioru uczniów, w której 25% stanowią dziewczęta. A z definicji szansa, że ​​ta przypadkowa uczennica będzie dziewczynką, wynosi 25%. W ten sposób można rozwiązać każdy problem z twierdzeniem Bayesa.

Obliczenie

Rozkład prawdopodobieństwa a posteriori jednej zmiennej losowej o wartości innej można obliczyć za pomocą twierdzenia Bayesa, mnożąc rozkład prawdopodobieństwa a priori przez funkcję wiarygodności , a następnie dzieląc przez stałą normalizującą , w następujący sposób:

${\ Displaystyle f_ {X \ mid Y = y} (x) = {f_ {X} (x) {\ mathcal {L}} _ {X \ mid Y = y} (x) \ ponad {\ int _ { -\infty }^{\infty }f_{X}(u){\mathcal {L}}_{X\mid Y=y}(u)\,du}}}$

podaje funkcję gęstości prawdopodobieństwa a posteriori dla zmiennej losowej z danych , gdzie ${\ Displaystyle X}$${\displaystyle Y=y}$

• ${\ Displaystyle f_ {X} (x)}$jest poprzednią gęstością ,${\ Displaystyle X}$
• ${\ Displaystyle {\ mathcal {L}} _ {X \ średni Y = y} (x) = f_ {Y \ średni X = x} (y)}$jest funkcją wiarygodności jako funkcją ,${\displaystyle x}$
• ${\ Displaystyle \ int _ {- \ infty} ^ {\ infty} f_ {X} (u) {\ mathcal {L}} _ {X \ mid Y = y} (u) \ du}$ jest stałą normalizującą, a
• ${\ Displaystyle f_ {X \ mid Y = y} (x)}$to gęstość a posteriori danych .${\ Displaystyle X}$${\displaystyle Y=y}$

Wiarygodny interwał

Prawdopodobieństwo a posteriori to prawdopodobieństwo warunkowe uwarunkowane losowo obserwowanymi danymi. Jest to więc zmienna losowa. W przypadku zmiennej losowej ważne jest podsumowanie jej niepewności. Jednym ze sposobów osiągnięcia tego celu jest zapewnienie wiarygodnego przedziału prawdopodobieństwa a posteriori.

Klasyfikacja

W klasyfikacji prawdopodobieństwa a posteriori odzwierciedlają niepewność oceny obserwacji do określonej klasy, patrz także Prawdopodobieństwo przynależności do klasy . Podczas gdy metody klasyfikacji statystycznej z definicji generują prawdopodobieństwa a posteriori, systemy uczące się zwykle dostarczają wartości członkostwa, które nie wywołują żadnej pewności probabilistycznej. Pożądane jest przekształcenie lub przeskalowanie wartości przynależności do prawdopodobieństw przynależności do klasy, ponieważ są one porównywalne i dodatkowo łatwiejsze do zastosowania do przetwarzania końcowego.

Zobacz też

• Interwał prognozy
• Twierdzenie Bernsteina-von Misesa
• Problem Monty'ego Halla
• Problem trzech więźniów
• Paradoks pudełka Bertranda
• Wybór zmiennej kolca i płyty
• Bayesowskie strukturalne szeregi czasowe
• Prawdopodobieństwo sukcesu
• epistemologia bayesowska

Bibliografia

Dalsza lektura

• Lancaster, Tony (2004). Wprowadzenie do współczesnej ekonometrii bayesowskiej . Oksford: Blackwell. Numer ISBN 1-4051-1720-6.
• Lee, Peter M. (2004). Statystyki bayesowskie: Wprowadzenie (3rd ed.). Wiley . Numer ISBN 0-340-81405-5.