Koniugat przed - Conjugate prior

Część serii na
Statystyki bayesowskie
Teoria
Dopuszczalna zasada decyzji Efektywność bayesowska epistemologia bayesowska Prawdopodobieństwo bayesowskie Interpretacje prawdopodobieństwa Twierdzenie Bayesa Współczynnik Bayesa Wnioskowanie bayesowskie Sieć bayesowska Wcześniejszy Tylny Prawdopodobieństwo Koniugat przed Przewidywanie a posteriori Hiperparametr Nadrzędny Zasada obojętności Zasada maksymalnej entropii Empiryczna metoda Bayesa Zasada Cromwella Twierdzenie Bernsteina-von Misesa Kryterium Schwarza Wiarygodny interwał Maksymalne oszacowanie a posteriori Radykalny probabilizm
Techniki
Bayesowska regresja liniowa estymator bayesowski Przybliżone obliczenia bayesowskie Łańcuch Markowa Monte Carlo
Portal matematyczny
v T mi

W bayesowskiej teorii prawdopodobieństwa , jeśli rozkład a posteriori p ( θ  |  x ) należy do tej samej rodziny rozkładów prawdopodobieństwa co wcześniejszy rozkład prawdopodobieństwa p (θ), a priori i a posteriori nazywamy rozkładami sprzężonymi, a a priori nazywamy sprzężonymi uprzednimi dla funkcji wiarygodności p (x | θ ).

Sprzężona uprzednia jest wygodą algebraiczną, dającą wyrażenie w formie zamkniętej dla a posteriori; w przeciwnym razie może być konieczne całkowanie numeryczne . Ponadto sprzężone wartości a priori mogą dawać intuicję, pokazując w bardziej przejrzysty sposób, w jaki sposób funkcja wiarygodności aktualizuje rozkład uprzedni.

Pojęcie, jak również termin „sprzężony uprzedni”, zostały wprowadzone przez Howarda Raiffę i Roberta Schlaifera w swojej pracy nad bayesowską teorią decyzji . Podobną koncepcję odkrył niezależnie George Alfred Barnard .

Przykład

Postać sprzężenia wcześniejszego można ogólnie określić przez sprawdzenie gęstości prawdopodobieństwa lub funkcji masy prawdopodobieństwa rozkładu. Rozważmy na przykład zmienną losową, na którą składa się liczba sukcesów w próbach Bernoulliego z nieznanym prawdopodobieństwem sukcesu w [0,1]. Ta zmienna losowa będzie miała rozkład dwumianowy , z funkcją masy prawdopodobieństwa postaci ${\displaystyle s}$${\ Displaystyle n}$ ${\displaystyle q}$

${\ Displaystyle p (s) = {n \ wybierz s} q ^ {s} (1-q) ^ {ns}}$

Zwykłym sprzężeniem poprzedzającym jest rozkład beta z parametrami ( , ): ${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

${\ Displaystyle p (q) = {q ^ {\ alfa -1} (1-q) ^ {\ beta -1} \ ponad \ operatorname {B} (\ alfa \ beta)}}$

gdzie i są wybrane tak, aby odzwierciedlały wszelkie istniejące przekonania lub informacje ( =1 i = 1 dałoby jednorodny rozkład ), a Β ( ,  ) jest funkcją Beta działającą jako stała normalizująca . ${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

W tym kontekście, i nazywane są hiperparametrów (parametry przed), aby odróżnić je od parametrów modelu bazowego (tutaj q ). Typową cechą sprzężonych a priori jest to, że wymiarowość hiperparametrów jest o jeden większa niż parametrów pierwotnego rozkładu. Jeśli wszystkie parametry są wartościami skalarnymi, oznacza to, że będzie o jeden hiperparametr więcej niż parametr; ale dotyczy to również parametrów o wartościach wektorowych i macierzowych. (Patrz ogólny artykuł na wykładniczy rodziny , a także rozważyć rozkład Wishart koniugat przed z macierzy kowariancji z wielowymiarowej rozkładu normalnego , na przykład w przypadku gdy duża wymiarowości uczestniczy). ${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

Jeśli następnie spróbkujemy tę zmienną losową i otrzymamy s sukcesów i f niepowodzeń, mamy

${\ Displaystyle {\ zacząć {wyrównany} P (s, f \ średni q = x) i = {s + f \ wybierz s} x ^ {s} (1-x) ^ {f} \ \ P (q =x)&={x^{\alpha -1}(1-x)^{\beta -1} \over \mathrm {B} (\alpha ,\beta )},\\P(q=x\ mid s,f)&={\frac {P(s,f\mid x)P(x)}{\int P(s,f\mid y)P(y)dy}}\\&={{ {s+f \choose s}x^{s+\alpha -1}(1-x)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )} \over \int _{ y=0}^{1}\left({s+f \wybierz s}y^{s+\alpha -1}(1-y)^{f+\beta -1}/\mathrm {B} (\alpha ,\beta )\right)dy}\\&={x^{s+\alpha -1}(1-x)^{f+\beta -1} \over \mathrm {B} (s+\alpha ,f+\ beta )},\end{wyrównany}}}$

czyli kolejna dystrybucja Beta z parametrami ( + s , + f ). Ten rozkład a posteriori mógłby być następnie użyty jako poprzedni dla większej liczby próbek, przy czym hiperparametry po prostu dodają każdą dodatkową informację w miarę jej pojawiania się. ${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

Interpretacje

Pseudo-obserwacje

Często przydatne jest myślenie o hiperparametrach sprzężonego wcześniejszego rozkładu jako odpowiadających zaobserwowaniu pewnej liczby pseudoobserwacji o właściwościach określonych przez parametry. Na przykład, wartości oraz o rozkładzie beta można traktować jako odpowiadające sukcesów i niepowodzeń, czy tryb tylnego służy do wyboru ustawienia parametru optymalna lub sukcesy i porażki, jeżeli tylny średni służy do wyboru ustawienia parametru optymalna. Ogólnie rzecz biorąc, dla prawie wszystkich sprzężonych rozkładów wcześniejszych hiperparametry można interpretować w kategoriach pseudoobserwacji. Może to pomóc zarówno w zapewnieniu intuicji za często niechlujnymi równaniami aktualizacji, jak i w wyborze rozsądnych hiperparametrów dla wcześniejszego. ${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$${\ Displaystyle \ alfa -1}$${\ Displaystyle \ beta -1}$${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$

Analogia z funkcjami własnymi

Sprzężone a priori są analogiczne do funkcji własnych w teorii operatorów , ponieważ są dystrybucjami, na których „operator warunkowania” działa w dobrze rozumiany sposób, myśląc o procesie zmiany od a priori do a posteriori jako operator.

Zarówno w funkcjach własnych, jak i sprzężonych a priori istnieje przestrzeń skończenie wymiarowa, która jest zachowywana przez operator: wyjście ma tę samą formę (w tej samej przestrzeni) co wejście. To znacznie upraszcza analizę, ponieważ w przeciwnym razie uwzględnia się przestrzeń nieskończenie wymiarową (przestrzeń wszystkich funkcji, przestrzeń wszystkich rozkładów).

Jednak procesy są tylko analogiczne, a nie identyczne: warunkowanie nie jest liniowe, ponieważ przestrzeń rozkładów nie jest zamknięta kombinacją liniową , tylko kombinacją wypukłą , a a posteriori ma tylko taką samą formę jak a priori, a nie wielokrotność skalarną.

Tak jak można łatwo przeanalizować, jak rozwija się liniowa kombinacja funkcji własnych pod wpływem operatora (ponieważ w odniesieniu do tych funkcji operator jest diagonalizowany ), można łatwo przeanalizować, jak wypukła kombinacja sprzężonych wartości a priori ewoluuje pod warunkiem; nazywa się to za pomocą hyperprior , i odpowiada za pomocą gęstości mieszaniny koniugatu priors zamiast pojedynczego koniugatu na wcześniej.

Układ dynamiczny

Można myśleć o warunkowaniu na sprzężonych a priori jako o zdefiniowaniu pewnego (czasu dyskretnego) systemu dynamicznego : z danego zbioru hiperparametrów przychodzące dane aktualizują te hiperparametry, więc można postrzegać zmianę hiperparametrów jako rodzaj „ewolucji w czasie” system, odpowiadający "uczeniu się". Rozpoczęcie w różnych punktach daje różne przepływy w czasie. Jest to znowu analogiczne do systemu dynamicznego zdefiniowanego przez operator liniowy, ale zauważ, że ponieważ różne próbki prowadzą do różnych wniosków, nie jest to po prostu zależne od czasu, ale raczej od danych w czasie. Aby zapoznać się z podobnymi podejściami, zobacz Rekurencyjne szacowanie bayesowskie i Asymilacja danych .

Praktyczny przykład

Załóżmy, że w Twoim mieście działa wypożyczalnia samochodów. Kierowcy mogą wysadzać i odbierać samochody w dowolnym miejscu w granicach miasta. Możesz znaleźć i wypożyczyć samochody za pomocą aplikacji.

Załóżmy, że chcesz znaleźć prawdopodobieństwo znalezienia wypożyczonego samochodu w niewielkiej odległości od Twojego adresu domowego o dowolnej porze dnia.

W ciągu trzech dni patrzysz na aplikację i znajdujesz następującą liczbę samochodów w niewielkiej odległości od Twojego adresu domowego: ${\ Displaystyle \ mathbf {x} = [3,4,1]}$

Jeśli założymy, że dane pochodzą z rozkładu Poissona , możemy obliczyć oszacowanie maksymalnego prawdopodobieństwa parametrów modelu, który jest Używając tego oszacowania maksymalnego prawdopodobieństwa możemy obliczyć prawdopodobieństwo, że w danym dniu będzie dostępny co najmniej jeden samochód:${\textstyle \lambda ={\frac {3+4+1}{3}}\ok 2,67.}$${\textstyle p(x>0|\lambda \ok 2,67)=1-p(x=0|\lambda \ok 2,67)=1-{\frac {2,67^{0}e^{-2,67}}{ 0!}}\ok 0,93}$

Jest to rozkład Poissona, który z największym prawdopodobieństwem wygenerował zaobserwowane dane . Ale dane mogły również pochodzić z innego rozkładu Poissona, np. z , lub , itd. W rzeczywistości istnieje nieskończona liczba rozkładów Poissona, które mogły wygenerować obserwowane dane, a przy stosunkowo niewielkiej liczbie punktów danych nie powinniśmy być pewni, które dokładny rozkład trucizn wygenerował te dane. Intuicyjnie powinniśmy zamiast tego przyjąć średnią ważoną prawdopodobieństwa każdego z tych rozkładów Poissona, ważoną według prawdopodobieństwa każdego z nich, biorąc pod uwagę dane, które zaobserwowaliśmy . ${\displaystyle \mathbf {x}}$${\ Displaystyle \ lambda = 3}$${\ Displaystyle \ lambda = 2}$${\displaystyle p(x>0|\lambda)}$${\displaystyle \mathbf {x}}$

Ogólnie rzecz biorąc, wielkość ta jest znana jako rozkład predykcyjny a posteriori, gdzie jest nowym punktem danych, danymi obserwowanymi i parametrami modelu. Korzystając z twierdzenia Bayesa, możemy rozwinąć, dlatego Całka ta jest generalnie trudna do obliczenia. Jeśli jednak wybierzesz sprzężony wcześniejszy rozkład , można wyprowadzić wyrażenie w formie zamkniętej. To jest tylna kolumna predykcyjna w poniższych tabelach. ${\ Displaystyle p (x | \ mathbf {x} ) = \ int _ {\ theta} p (x | \ theta ) p (\ theta | \ mathbf {x} ) d \ theta \ ,,}$${\displaystyle x}$${\displaystyle \mathbf {x}}$${\displaystyle \theta}$${\ Displaystyle p (\ theta | \ mathbf {x} ) = {\ Frac {p (\ mathbf {x} | \ theta) p (\ theta) {p (\ mathbf {x})}} \ ,, }$${\ Displaystyle p (x | \ mathbf {x} ) = \ int _ {\ theta} p (x | \ theta ) {\ frac {p (\ mathbf {x} | \ theta) p (\ teta)} p(\mathbf {x} )}}d\theta \,.}$${\displaystyle p(\theta)}$

Wracając do naszego przykładu, jeśli wybierzemy rozkład Gamma jako nasz wcześniejszy rozkład nad szybkością rozkładów Poissona, to predykcją a posteriori jest ujemny rozkład dwumianowy, jak widać w ostatniej kolumnie w poniższej tabeli. Rozkład Gamma jest parametryzowany przez dwa hiperparametry, które musimy wybrać. Patrząc na wykresy rozkładu gamma wybieramy , który wydaje się być rozsądnym wyprzedzeniem dla średniej liczby samochodów. Wybór wcześniejszych hiperparametrów jest z natury subiektywny i oparty na wcześniejszej wiedzy. ${\displaystyle \alfa,\beta}$${\ Displaystyle \ alfa = \ beta = 2}$

Mając poprzednie hiperparametry i możemy obliczyć tylne hiperparametry i${\ Displaystyle \ alfa}$${\ Displaystyle \ beta}$${\textstyle \alpha '=\alpha +\sum _{i}x_{i}=2+3+4+1=10}$${\textstyle \beta '=\beta +n=2+3=5}$

Biorąc pod uwagę hiperparametry tylne, możemy w końcu obliczyć predykcyjną a posteriori ${\textstyle p(x>0|\mathbf {x} )=1-p(x=0|\mathbf {x} )=1-NB\left(0\,|\,10,{\frac {1 }{1+5}}\w prawo)\ok 0,84}$

To znacznie bardziej konserwatywne oszacowanie odzwierciedla niepewność parametrów modelu, którą uwzględnia predykcja a posteriori.

Tabela rozkładów sprzężonych

Niech n oznacza liczbę obserwacji. We wszystkich poniższych przypadkach zakłada się, że dane składają się z n punktów (które będą wektorami losowymi w przypadkach wielowymiarowych). ${\displaystyle x_{1},\ldots,x_{n}}$

Jeżeli funkcja wiarygodności należy do rodziny wykładniczej , to istnieje sprzężony a priori, często także w rodzinie wykładniczej; zobacz Rodzina wykładnicza: rozkłady sprzężone .

Gdy funkcja wiarygodności jest rozkładem dyskretnym

Prawdopodobieństwo	Parametry modelu	Sprzężenie uprzedniej dystrybucji	Wcześniejsze hiperparametry	Hiperparametry tylne	Interpretacja hiperparametrów	Przewidywanie a posteriori
Bernoulli	p (prawdopodobieństwo)	Beta	${\ Displaystyle \ alfa \, \ beta \ w \ mathbb {R} \!}$	${\ Displaystyle \ alfa + \ suma _ {i = 1} ^ {n} x_ {i} \, \ beta + n- \ suma _ {i = 1} ^ {n} x_ {i} \!}$	${\ Displaystyle \ alfa}$sukcesy, porażki ${\ Displaystyle \ beta}$	${\ Displaystyle p ({\ tylda {x}} = 1) = {\ Frac {\ alfa '}{\ alfa '+ \ beta '}}}$
Dwumianowy	p (prawdopodobieństwo)	Beta	${\ Displaystyle \ alfa \, \ beta \ w \ mathbb {R} \!}$	${\ Displaystyle \ alfa + \ suma _ {i = 1} ^ {n} x_ {i} \, \ beta + \ suma _ {i = 1} ^ {n} N_ {i} - \ suma _ {i =1}^{n}x_{i}\!}$	${\ Displaystyle \ alfa}$sukcesy, porażki ${\ Displaystyle \ beta}$	${\ Displaystyle \ Operatorname {BetaBin} ({\ tylda {x}} | \ alfa ', \ beta ')}$ ( beta-dwumianowy )
Ujemny dwumian o znanej liczbie niepowodzeń, r	p (prawdopodobieństwo)	Beta	${\ Displaystyle \ alfa \, \ beta \ w \ mathbb {R} \!}$	${\ Displaystyle \ alfa + \ suma _ {i = 1} ^ {n} x_ {i} \ \ beta + rn \!}$	${\ Displaystyle \ alfa}$łączne sukcesy, porażki (tj. eksperymenty, zakładając, że pobyty są stałe) ${\ Displaystyle \ beta}$${\displaystyle {\frac {\beta}{r}}}$${\ Displaystyle r}$	${\ Displaystyle \ Operatorname {BetaNegBin} ({\ tylda {x}} | \ alfa ', \ beta ')}$ (beta-ujemny dwumian)
Poissona	λ (stawka)	Gamma	${\ Displaystyle k \, \ theta \ w \ mathbb {R} \!}$	${\ Displaystyle k + \ suma _ {i = 1} ^ {n} x_ {i} \ {\ Frac {\ theta} {n \ teta +1}} \!}$	${\displaystyle k}$suma wystąpień w interwałach ${\displaystyle {\frac {1}{\theta}}}$	${\ Displaystyle \ Operatorname {NB} \ lewo ({\ tylda {x}} \ mid k '{\ Frac {\ theta '}{\ theta '+1}} \ prawej)}$ ( ujemny dwumianowy )
			${\displaystyle \alfa,\,\beta \!}$	${\ Displaystyle \ alfa + \ suma _ {i = 1} ^ {n} x_ {i} \ \ beta + n \!}$	${\ Displaystyle \ alfa}$suma wystąpień w interwałach ${\ Displaystyle \ beta}$	${\ Displaystyle \ Operatorname {NB} \ lewo ({\ tylda {x}} \ mid \ alfa ', {\ Frac {1} {1 + \ beta '}} \ prawej)}$ ( ujemny dwumianowy )
Kategoryczny	p (wektor prawdopodobieństwa), k (liczba kategorii; tj. wielkość p )	Dirichleta	${\ Displaystyle {\ boldsymbol {\ alfa}} \ w \ mathbb {R} ^ {k} \!}$	${\displaystyle {\boldsymbol {\alfa}}+(c_{1},\ldots,c_{k}),}$gdzie jest liczba obserwacji w kategorii i${\displaystyle c_{i}}$	${\ Displaystyle \ alfa _ {i}}$ wystąpienia kategorii ${\displaystyle i}$	${\ Displaystyle {\ zacząć {wyrównany} p ({\ tylda {x}} = ja) i = {\ Frac {{\ alfa _ {i}}}} {\ suma _ {i} {\ alfa _ {i }}'}}\\&={\frac {\alpha _{i}+c_{i}}{\sum _{i}\alpha _{i}+n}}\end{aligned}}}$
Wielomianowy	p (wektor prawdopodobieństwa), k (liczba kategorii; tj. wielkość p )	Dirichleta	${\ Displaystyle {\ boldsymbol {\ alfa}} \ w \ mathbb {R} ^ {k} \!}$	${\ Displaystyle {\ boldsymbol {\ alfa}} + \ suma _ {i = 1} ^ {n} \ mathbf {x} _ {i} \!}$	${\ Displaystyle \ alfa _ {i}}$ wystąpienia kategorii ${\displaystyle i}$	${\displaystyle \operatorname {DirMult} ({\tylda {\mathbf {x}}}\mid {\boldsymbol {\alfa}}')}$ ( Wielomian Dirichleta )
Hipergeometryczna o znanej całkowitej wielkości populacji, N	M (liczba członków docelowych)	Beta-dwumian	${\displaystyle n=N,\alfa,\,\beta \!}$	${\ Displaystyle \ alfa + \ suma _ {i = 1} ^ {n} x_ {i} \, \ beta + \ suma _ {i = 1} ^ {n} N_ {i} - \ suma _ {i =1}^{n}x_{i}\!}$	${\ Displaystyle \ alfa}$sukcesy, porażki ${\ Displaystyle \ beta}$
Geometryczny	p 0 (prawdopodobieństwo)	Beta	${\ Displaystyle \ alfa \, \ beta \ w \ mathbb {R} \!}$	${\ Displaystyle \ alfa + n \ \ beta + \ suma _ {i = 1} ^ {n} x_ {i} \!}$	${\ Displaystyle \ alfa}$eksperymenty, totalne awarie ${\ Displaystyle \ beta}$

Gdy funkcja wiarygodności jest rozkładem ciągłym

Prawdopodobieństwo	Parametry modelu	Sprzężenie uprzedniej dystrybucji	Wcześniejsze hiperparametry	Hiperparametry tylne	Interpretacja hiperparametrów	Przewidywanie a posteriori
Normalna ze znaną wariancją σ 2	μ (średnia)	Normalna	${\ Displaystyle \ mu _ {0}, \, \ sigma _ {0} ^ {2} \!}$	${\ Displaystyle {\ Frac {1} {{\ Frac {1} {\ Sigma _ {0} ^ {2}}} + {\ Frac {n} {\ Sigma ^ {2}}}}} \ lewo ( {\frac {\mu _{0}}{\sigma _{0}^{2}}}+{\frac {\sum _{i=1}^{n}x_{i}}{\sigma ^ {2}}}\right),\left({\frac {1}{\sigma _{0}^{2}}}+{\frac {n}{\sigma ^{2}}}\right) ^{-1}}$	średnia została oszacowana na podstawie obserwacji z dokładnością całkowitą (suma wszystkich precyzji indywidualnych) oraz średnią z próby${\displaystyle 1/\sigma _{0}^{2}}$${\ Displaystyle \ mu _ {0}}$	${\ Displaystyle {\ mathcal {N}} ({\ tylda {x}} | \ mu _ {0} '{\ sigma _ {0} ^ {2}} '+ \ sigma ^ {2})}$
Normalna ze znaną dokładnością τ	μ (średnia)	Normalna	${\ Displaystyle \ mu _ {0}, \ \ tau _ {0} ^ {-1} \!}$	${\ Displaystyle {\ Frac {\ tau _ {0} \ mu _ {0} + \ tau \ suma _ {i = 1} ^ {n} x_ {i}} {\ tau _ {0} + n \ tau }},\,\left(\tau _{0}+n\tau \right)^{-1}}$	średnia została oszacowana na podstawie obserwacji z dokładnością całkowitą (suma wszystkich precyzji indywidualnych) oraz średnią z próby${\ Displaystyle \ tau _ {0}}$${\ Displaystyle \ mu _ {0}}$	${\ Displaystyle {\ mathcal {N}} \ lewo ({\ tylda {x}} \ mid \ mu _ {0} '{\ Frac {1} {\ tau _ {0} '}} + {\ Frac {1}{\tau }}\prawo)}$
Normalny ze znaną średnią μ	σ 2 (wariancja)	Odwrotna gamma	${\displaystyle \mathbf {\alfa,\,\beta}}$	${\ Displaystyle \ mathbf {\ alfa} + {\ Frac {n} {2}}, \, \ mathbf {\ beta} + {\ Frac {\ suma _ {i = 1} ^ {n} {(x_ { i}-\mu )^{2}}}{2}}}$	wariancję oszacowano na podstawie obserwacji z wariancją próbki (tj. sumą kwadratów odchyleń , gdzie odchylenia są od znanej średniej ) ${\displaystyle 2\alfa}$${\ Displaystyle \ beta / \ alfa}$ ${\displaystyle 2\beta}$${\ Displaystyle \ mu}$	${\ Displaystyle t_ {2 \ alfa '} ({\ tylda {x}} | \ mu \ sigma ^ {2} = \ beta '/\ alfa ')}$
Normalny ze znaną średnią μ	σ 2 (wariancja)	Skalowana odwrotność chi-kwadrat	${\displaystyle \nu,\,\sigma _{0}^{2}\!}$	${\ Displaystyle \ nu + n \, {\ Frac {\ nu \ sigma _ {0} ^ {2} + \ suma _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ { 2}}{\nu +n}}\!}$	wariancję oszacowano na podstawie obserwacji z wariancją próbki${\displaystyle \nu}$${\ Displaystyle \ sigma _ {0} ^ {2}}$	${\ Displaystyle t_ {\ nu '} ({\ tylda {x}} | \ mu {\ sigma _ {0} ^ {2}} ')}$
Normalny ze znaną średnią μ	τ (dokładność)	Gamma	${\displaystyle \alfa,\,\beta \!}$	${\ Displaystyle \ alfa + {\ Frac {n} {2}}, \ \ beta + {\ Frac {\ suma _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ {2 }}{2}}\!}$	precyzja została oszacowana na podstawie obserwacji z wariancją próbki (tj. z sumą kwadratów odchyleń , gdzie odchylenia są od znanej średniej ) ${\displaystyle 2\alfa}$${\ Displaystyle \ beta / \ alfa}$ ${\displaystyle 2\beta}$${\ Displaystyle \ mu}$	${\ Displaystyle t_ {2 \ alfa '} ({\ tylda {x}} \ mid \ mu \ sigma ^ {2} = \ beta '/\ alfa ')}$
Normalna	μ i σ 2 Przy założeniu wymienności	Normalno-odwrotna gamma	${\displaystyle \mu_{0},\,\nu,\,\alfa,\,\beta}$	${\ Displaystyle {\ Frac {\ nu \ mu _ {0}+ n {\ bar {x}}} {\ nu + n}}, \ \ nu + n \ \ alfa + {\ Frac {n }{2}},\,}$ ${\ Displaystyle \ beta + {\ tfrac {1} {2}} \ suma _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + {\ Frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ jest średnia próbki	średnia została oszacowana na podstawie obserwacji ze średnią z próby ; wariancję oszacowano na podstawie obserwacji ze średnią próbki i sumą kwadratów odchyleń${\displaystyle \nu}$${\ Displaystyle \ mu _ {0}}$${\displaystyle 2\alfa}$${\ Displaystyle \ mu _ {0}}$ ${\displaystyle 2\beta}$	${\ Displaystyle t_ {2 \ alfa '} \ lewo ({\ tylda {x}} \ mid \ mu ', {\ Frac {\ beta '(\ nu '+1)}} {\ nu '\ alfa '}} \Prawidłowy)}$
Normalna	μ i τ Przy założeniu wymienności	Normal-gamma	${\displaystyle \mu_{0},\,\nu,\,\alfa,\,\beta}$	${\ Displaystyle {\ Frac {\ nu \ mu _ {0}+ n {\ bar {x}}} {\ nu + n}}, \ \ nu + n \ \ alfa + {\ Frac {n }{2}},\,}$ ${\ Displaystyle \ beta + {\ tfrac {1} {2}} \ suma _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + {\ Frac {n\nu }{\nu +n}}{\frac {({\bar {x}}-\mu _{0})^{2}}{2}}}$ ${\displaystyle {\bar {x}}}$ jest średnia próbki	średnia została oszacowana na podstawie obserwacji ze średnią z próby , a precyzja została oszacowana na podstawie obserwacji ze średnią z próby i sumą kwadratów odchyleń${\displaystyle \nu}$${\ Displaystyle \ mu _ {0}}$${\displaystyle 2\alfa}$${\ Displaystyle \ mu _ {0}}$ ${\displaystyle 2\beta}$	${\ Displaystyle t_ {2 \ alfa '} \ lewo ({\ tylda {x}} \ mid \ mu ', {\ Frac {\ beta '(\ nu '+1)} {\ alfa '\ nu '}} \Prawidłowy)}$
Wielowymiarowa normalna ze znaną macierzą kowariancji Σ	μ (średni wektor)	Wielowymiarowy normalny	${\displaystyle {\boldsymbol {\boldsymbol {\mu}}}_{0},\{\boldsymbol {\sigma}}_{0}}$	${\ Displaystyle \ lewo ({\ pogrubienie {\ Sigma}} _ {0} ^ {-1} + n {\ pogrubienie {\ Sigma}} ^ {-1} \ po prawej) ^ {-1} \ po lewej ({{ \boldsymbol {\Sigma }}_{0}^{-1}{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Sigma }}^{-1}\mathbf {\bar {x }} \Prawidłowy),}$ ${\ Displaystyle \ lewo ({\ pogrubienie {\ Sigma}} _ {0} ^ {-1} + n {\ pogrubienie {\ Sigma}} ^ {-1} \ po prawej) ^ {-1}}$ ${\displaystyle \mathbf {\bar {x}}}$ jest średnia próbki	średnia została oszacowana na podstawie obserwacji z dokładnością całkowitą (suma wszystkich precyzji indywidualnych) oraz średnią z próby${\displaystyle {\boldsymbol {\sigma}}_{0}^{-1}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$	${\displaystyle {\mathcal {N}}({\tylda {\mathbf {x}}}\mid {{\boldsymbol {\mu}}_{0}}'{{\boldsymbol {\sigma}}_ {0}}'+{\boldsymbol {\Sigma }})}$
Wielowymiarowa normalna ze znaną macierzą dokładności Λ	μ (średni wektor)	Wielowymiarowy normalny	${\displaystyle \mathbf {\boldsymbol {\mu}}_{0},\{\boldsymbol {\lambda}}_{0}}$	${\ Displaystyle \ lewo ({\ pogrubienie {\ Lambda}} _ {0} + n {\ pogrubienie {\ Lambda}} \ po prawej) ^ {-1} \ po lewej ({\ pogrubienie {\ Lambda}} _ {0 }{\boldsymbol {\mu }}_{0}+n{\boldsymbol {\Lambda }}\mathbf {\bar {x}} \right),\,\left({\boldsymbol {\Lambda }}_ {0}+n{\boldsymbol {\Lambda }}\right)}$ ${\displaystyle \mathbf {\bar {x}}}$ jest średnia próbki	średnia została oszacowana na podstawie obserwacji z dokładnością całkowitą (suma wszystkich precyzji indywidualnych) oraz średnią z próby${\displaystyle {\boldsymbol {\lambda}}_{0}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$	${\ Displaystyle {\ mathcal {N}} \ lewo ({\ tylda {\ mathbf {x}}} \ mid {{\ pogrubienie {\ mu}} _ {0}} '{{\ pogrubienie {\ Lambda }}_{0}}'}^{-1}+{\boldsymbol {\Lambda }}^{-1}\right)}$
Wielowymiarowa normalna ze znaną średnią μ	Σ (macierz kowariancji)	Odwrotny Wishart	${\displaystyle \nu,\,{\boldsymbol {\psi}}}$	${\ Displaystyle n + \ nu, \, {\ pogrubiony symbol {\ psi}} + \ suma _ {i = 1} ^ {n} (\ mathbf {x_ {i}} - {\ pogrubienie {\ mu}}) ( \mathbf {x_{i}} -{\boldsymbol {\mu}})^{T}}$	macierz kowariancji została oszacowana na podstawie obserwacji z sumą iloczynów odchyleń parami${\displaystyle \nu}$${\displaystyle {\boldsymbol {\psi}}}$	${\ Displaystyle t_ {\ nu '-p + 1} \ lewo ({\ tylda {\ mathbf {x} }} | {\ pogrubiony symbol {\ mu}} {\ Frac {1} {\ nu '-p + 1}}{\boldsymbol {\Psi }}'\right)}$
Wielowymiarowa normalna ze znaną średnią μ	Λ (matryca precyzyjna)	Wishart	${\displaystyle \nu,\,\mathbf {V}}$	${\ Displaystyle n + \ nu \, \ lewo (\ mathbf {V} ^ {-1} + \ suma _ {i = 1} ^ {n} (\ mathbf {x_ {i}}} - {\ pogrubienie {\ mu }})(\mathbf {x_{i}} -{\boldsymbol {\mu }})^{T}\right)^{-1}}$	macierz kowariancji została oszacowana na podstawie obserwacji z sumą iloczynów odchyleń parami${\displaystyle \nu}$${\ Displaystyle \ mathbf {V} ^ {-1}}$	${\ Displaystyle t_ {\ nu '-p + 1} \ lewo ({\ tylda {\ mathbf {x} }} \ mid {\ pogrubienie {\ mu}} {\ Frac {1} {\ nu '-p +1}}{\mathbf {V} '}^{-1}\prawo)}$
Wielowymiarowy normalny	μ (średni wektor) i Σ (macierz kowariancji)	normalny-odwrotny-Wishart	${\displaystyle {\boldsymbol {\mu}}_{0},\,\kappa_{0},\,\nu _{0},\,{\boldsymbol {\psi}}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu}}_{0}+n\mathbf {\bar {x}}}{\kappa_{0}+n}},\ ,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\displaystyle {\boldsymbol {\psi}}+\mathbf {C} +{\frac {\kappa_{0}n}{\kappa_{0}+n}}(\mathbf {\bar {x} } -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}}$ ${\displaystyle \mathbf {\bar {x}}}$ jest średnia próbki ${\ Displaystyle \ mathbf {C} = \ suma _ {i = 1} ^ {n} (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) (\ mathbf {x_ {i}} -\mathbf {\bar {x}} )^{T}}$	średnia została oszacowana na podstawie obserwacji ze średnią z próby ; macierz kowariancji została oszacowana na podstawie obserwacji ze średnią z próby i sumą iloczynów odchyleń parami${\ Displaystyle \ kappa _ {0}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$${\displaystyle {\boldsymbol {\psi}}=\nu _{0}{\boldsymbol {\sigma}}_{0}}$	${\ Displaystyle t_ {{\ nu _ {0}} '-p + 1} \ lewo ({\ tylda {\ mathbf {x}}} | {{\ pogrubienie {\ mu}} _ {0}} ', {\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\boldsymbol {\Psi } }'\Prawidłowy)}$
Wielowymiarowy normalny	μ (średni wektor) i Λ (macierz precyzyjna)	normalny-Wishart	${\displaystyle {\boldsymbol {\mu}}_{0},\,\kappa_{0},\,\nu_{0},\,\mathbf {V}}$	${\displaystyle {\frac {\kappa _{0}{\boldsymbol {\mu}}_{0}+n\mathbf {\bar {x}}}{\kappa_{0}+n}},\ ,\kappa _{0}+n,\,\nu _{0}+n,\,}$ ${\ Displaystyle \ lewo (\ mathbf {V} ^ {-1} + \ mathbf {C} + {\ Frac {\ kappa _ {0}} {\ kappa _ {0} + n}} (\ mathbf { \bar {x}} -{\boldsymbol {\mu }}_{0})(\mathbf {\bar {x}} -{\boldsymbol {\mu }}_{0})^{T}\right )^{-1}}$ ${\displaystyle \mathbf {\bar {x}}}$ jest średnia próbki ${\ Displaystyle \ mathbf {C} = \ suma _ {i = 1} ^ {n} (\ mathbf {x_ {i}} - \ mathbf {\ bar {x}}) (\ mathbf {x_ {i}} -\mathbf {\bar {x}} )^{T}}$	średnia została oszacowana na podstawie obserwacji ze średnią z próby ; macierz kowariancji została oszacowana na podstawie obserwacji ze średnią z próby i sumą iloczynów odchyleń parami${\ Displaystyle \ kappa _ {0}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$${\displaystyle \nu _{0}}$${\displaystyle {\boldsymbol {\mu}}_{0}}$${\ Displaystyle \ mathbf {V} ^ {-1}}$	${\displaystyle t_{{\nu _{0}}'-p+1}\left({\tylda {\mathbf {x}}}\mid {{\boldsymbol {\mu}}_{0}}' ,{\frac {{\kappa _{0}}'+1}{{\kappa _{0}}'({\nu _{0}}'-p+1)}}{\mathbf {V} '}^{-1}\prawo)}$
Mundur	${\displaystyle U(0,\theta)\!}$	Pareto	${\displaystyle x_{m},\k\!}$	${\ Displaystyle \ max \ {\, x_ {1}, \ ldots, x_ {n}, x_ {\ operatorname {m}} \}, \, k + n \!}$	${\displaystyle k}$ obserwacje o wartości maksymalnej ${\displaystyle x_{m}}$
Pareto ze znanym minimum x m	k (kształt)	Gamma	${\displaystyle \alfa,\,\beta \!}$	${\ Displaystyle \ alfa + n \ \ beta + \ suma _ {i = 1} ^ {n} \ ln {\ Frac {x_ {i}} {x_ {\ operatorname {m}}}} \!}$	${\ Displaystyle \ alfa}$Obserwacje z sumy z rzędu każdej obserwacji (tj logarytm stosunku każdej obserwacji do minimum ) ${\ Displaystyle \ beta}$${\displaystyle x_{m}}$
Weibulla o znanym kształcie β	θ (skala)	Odwrotna gamma	${\displaystyle a,b\!}$	${\ Displaystyle a + n \, b + \ suma _ {i = 1} ^ {n} x_ {i} ^ {\ beta} \!}$	${\displaystyle a}$Obserwacje z sumy na P” th moc każdej obserwacji ${\displaystyle b}$
Log-normalny	Tak samo jak w przypadku rozkładu normalnego po zastosowaniu logarytmu naturalnego do danych dla hiperparametrów tylnych. Więcej informacji można znaleźć w publikacji Fink (1997 , s. 21–22).
Wykładniczy	λ (stawka)	Gamma	${\displaystyle \alfa,\,\beta \!}$	${\ Displaystyle \ alfa + n \ \ beta + \ suma _ {i = 1} ^ {n} x_ {i} \!}$	${\ Displaystyle \ alfa -1}$ obserwacje, które sumują się do ${\ Displaystyle \ beta}$	${\ Displaystyle \ operatorname {Lomax} ({\ tylda {x}} \ mid \ beta ', \ alfa ')}$ ( rozkład Lomaxa )
Gamma o znanym kształcie α	β (stawka)	Gamma	${\ Displaystyle \ alfa _ {0}, \ \ beta _ {0} \!}$	${\ Displaystyle \ alfa _ {0} + n \ alfa \, \ beta _ {0} + \ suma _ {i = 1} ^ {n} x_ {i} \!}$	${\displaystyle \alfa_{0}/\alfa}$ obserwacje z sumą ${\ Displaystyle \ beta _ {0}}$	${\ Displaystyle \ operatorname {CG} ({\ tylda {\ mathbf {x}}} \ mid \ alfa {\ alfa _ {0}} ', {\ beta _ {0}} ') = \ operatorname {\ beta '} ({\tylda {\mathbf {x} }}|\alpha ,{\alpha _{0}}',1,{\beta _{0}}')}$
Odwrotna Gamma o znanym kształcie α	β (skala odwrotna)	Gamma	${\ Displaystyle \ alfa _ {0}, \ \ beta _ {0} \!}$	${\ Displaystyle \ alfa _ {0} + n \ alfa \, \ beta _ {0} + \ suma _ {i = 1} ^ {n} {\ Frac {1} {x_ {i}}} \! }$	${\displaystyle \alfa_{0}/\alfa}$ obserwacje z sumą ${\ Displaystyle \ beta _ {0}}$
Gamma ze znaną szybkością β	α (kształt)	${\ Displaystyle \ propto {\ Frac {a ^ {\ alfa -1} \ beta ^ {\ alfa c}} {\ Gamma (\ alfa) ^ {b}}}}$	${\displaystyle a,\,b,\,c\!}$	${\ Displaystyle a \ prod _ {i = 1} ^ {n} x_ {i} \ b + n \ c + n \!}$	${\displaystyle b}$lub obserwacje ( do oszacowania , do oszacowania ) z produktem${\displaystyle c}$${\displaystyle b}$${\ Displaystyle \ alfa}$${\displaystyle c}$${\ Displaystyle \ beta}$${\displaystyle a}$
Gamma	α (kształt), β (skala odwrotna)	${\ Displaystyle \ propto {\ Frac {p ^ {\ alfa -1} e ^ {- \ beta q}} {\ Gamma (\ alfa) ^ {r} \ beta ^ {- \ alfa s}}}}$	${\displaystyle p,\,q,\,r,\,s\!}$	${\ Displaystyle p \ prod _ {i = 1} ^ {n} x_ {i}, \, q + \ suma _ {i = 1} ^ {n} x_ {i}, \, r + n, \, s +n\!}$	${\ Displaystyle \ alfa}$został oszacowany na podstawie obserwacji z iloczynem ; został oszacowany na podstawie obserwacji z sumą${\ Displaystyle r}$${\displaystyle p}$${\ Displaystyle \ beta}$${\displaystyle s}$${\displaystyle q}$
Beta	α , β	${\ Displaystyle \ propto {\ Frac {\ Gamma (\ alfa + \ beta) ^ {k} \ p ^ {\ alfa} \, q ^ {\ beta}} {\ Gamma (\ alfa) ^ {k} \,\Gamma (\beta )^{k}}}}$	${\displaystyle p,\,q,\,k\!}$	${\ Displaystyle p \ prod _ {i = 1} ^ {n} x_ {i}, \, q \ prod _ {i = 1} ^ {n} (1-x_ {i}), \, k + n \!}$	${\ Displaystyle \ alfa}$i zostały oszacowane na podstawie obserwacji z iloczynem i iloczynem dopełnień${\ Displaystyle \ beta}$${\displaystyle k}$${\displaystyle p}$${\displaystyle q}$

Zobacz też

• Rozkład beta-dwumianowy

Uwagi

Bibliografia