Jeffreys przed - Jeffreys prior

W prawdopodobieństwie bayesowskim , uprzednia dystrybucja Jeffreysa , nazwana na cześć Sir Harolda Jeffreysa , jest nieinformacyjnym (obiektywnym) rozkładem uprzednim dla przestrzeni parametrów; jego funkcją gęstości jest proporcjonalna do pierwiastka kwadratowego z determinantą do informacji Fisher Matrix

${\ Displaystyle p \ lewo ({\ vec {\ theta}} \ prawo) \ propto {\ sqrt {\ det {\ mathcal {I}} \ lewo ({\ vec {\ theta}} \ prawej)}}. \,}$

Jego kluczową cechą jest to, że jest niezmienny przy zmianie współrzędnych wektora parametrów . Oznacza to, że prawdopodobieństwo względne przypisane do objętości przestrzeni prawdopodobieństwa przy użyciu wcześniejszej Jeffreysa będzie takie samo, niezależnie od parametryzacji użytej do zdefiniowania wcześniejszej Jeffreysa. To sprawia, że ​​jest to szczególnie interesujące do użycia z parametrami wagi . ${\displaystyle {\vec {\theta}}}$

Reparametryzacja

Przypadek jednoparametrowy

Jeśli i są dwiema możliwymi parametryzacjami modelu statystycznego i jest ciągle różniczkowalną funkcją , mówimy, że a priori jest „niezmienniczy” w ramach reparametryzacji, jeśli ${\displaystyle \theta}$${\displaystyle \varphi}$${\displaystyle \theta}$${\displaystyle \varphi}$${\displaystyle p_{\theta}(\theta)}$

${\ Displaystyle p_ {\ varphi } (\ varphi ) = p_ {\ theta } (\ theta ) \ lewo | {\ frac {d \ theta} {d \ varphi }} \ prawo |,}$

to znaczy, jeśli a priori i są powiązane przez zwykłe twierdzenie o zmianie zmiennych . ${\displaystyle p_{\theta}(\theta)}$${\ Displaystyle p_ {\ varphi } (\ varphi )}$

Ponieważ informacja Fishera przekształca się podczas reparametryzacji jako

${\ Displaystyle I_ {\ varphi } (\ varphi ) = I_ {\ theta} (\ theta ) \ lewo ({\ Frac {d \ theta} {d \ Varphi }} \ po prawej) ^ {2},}$

zdefiniowanie apriorów jako i daje nam pożądaną „niezmienność”. ${\ Displaystyle p_ {\ varphi } (\ varphi ) \ propto {\ sqrt {I_ {\ varphi} (\ varphi )}}}$${\displaystyle p_{\theta}(\theta)\propto {\sqrt {I_{\theta}(\theta)}}}$

Sprawa z wieloma parametrami

Analogicznie do przypadku jednoparametrowego, niech i będą dwie możliwe parametryzacje modelu statystycznego z ciągle różniczkowalną funkcją . Nazywamy poprzedni „niezmiennikiem” w ramach reparametryzacji, jeśli ${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\varphi }}}$${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\varphi }}}$${\displaystyle p_{\theta}({\vec {\theta}})}$

${\displaystyle p_{\varphi}({\vec {\varphi}})=p_{\theta}({\vec {\theta}})\det J,}$

gdzie jest macierz Jakobian z wpisami ${\ Displaystyle J}$

${\ Displaystyle J_ {ij} = {\ Frac {\ częściowy \ theta _ {i}} {\ częściowy \ varphi _ {j}}}.}$

Ponieważ macierz informacji Fishera przekształca się podczas reparametryzacji jako

${\ Displaystyle I_ {\ varphi } ({\ vec {\ varphi }}) = J ^ {T} I_ {\ theta} ({\ vec {\ theta}}) J,}$

mamy to

${\ Displaystyle \ DET I_ {\ varphi } (\ varphi ) = \ DET I_ {\ theta} (\ theta ) (\ DET J) ^ {2}}$

iw ten sposób zdefiniowanie apriorów jako i daje nam pożądaną „niezmienność”. ${\ Displaystyle p_ {\ varphi } ({\ vec {\ varphi }}) \ propto {\ sqrt {\ det I_ {\ varphi } ({\ vec {\ varphi }})}}}$${\displaystyle p_{\theta}({\vec {\theta}})\propto {\sqrt {\det I_{\theta}({\vec {\theta}})}}}$

Atrybuty

Z praktycznego i matematycznego punktu widzenia, uzasadnionym powodem, aby używać tego nieinformatywnego uprzedniego zamiast innych, takich jak te uzyskane przez granicę w sprzężonych rodzinach rozkładów, jest to, że względne prawdopodobieństwo objętości przestrzeni prawdopodobieństwa nie zależy od zestaw zmiennych parametrów, który jest wybrany do opisania przestrzeni parametrów.

Czasami przeor Jeffreys nie może być znormalizowany i dlatego jest niewłaściwym przeorem . Na przykład poprzedzająca Jeffreysa dla średniej rozkładu jest jednolita na całej linii rzeczywistej w przypadku rozkładu Gaussa o znanej wariancji.

Użycie przeora Jeffreysa narusza silną wersję zasady prawdopodobieństwa , która jest akceptowana przez wielu, ale nie przez wszystkich statystyków. W przypadku użycia wcześniejszej teorii Jeffreysa wnioskowanie o zależy nie tylko od prawdopodobieństwa obserwowanych danych jako funkcji , ale także od wszechświata wszystkich możliwych wyników eksperymentalnych, określonych przez projekt eksperymentu, ponieważ informacje Fishera są obliczane na podstawie oczekiwań. nad wybranym wszechświatem. W związku z tym, przeor Jeffreysa, a więc i wnioski wyciągnięte z jej użycia, mogą być różne dla dwóch eksperymentów z tym samym parametrem, nawet jeśli funkcje wiarygodności dla obu eksperymentów są takie same — jest to naruszenie zasady silnej wiarygodności. ${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\theta}}}$${\displaystyle {\vec {\theta}}}$

Minimalna długość opisu

W podejściu do statystyki z minimalną długością opisu celem jest opisanie danych tak zwięźle, jak to możliwe, gdzie długość opisu jest mierzona w bitach użytego kodu. W przypadku parametrycznej rodziny rozkładów kod porównuje się z najlepszym kodem opartym na jednym z rozkładów w sparametryzowanej rodzinie. Główny wynik jest taki, że w rodzinach wykładniczych , asymptotycznie dla dużej wielkości próby, kod oparty na rozkładzie, który jest mieszanką elementów w rodzinie wykładniczej z wcześniejszym Jeffreysem, jest optymalny. Ten wynik obowiązuje, jeśli ograniczy się zestaw parametrów do zwartego podzbioru we wnętrzu pełnej przestrzeni parametrów. Jeśli używany jest pełny parametr, należy użyć zmodyfikowanej wersji wyniku.

Przykłady

Wcześniejsze Jeffreysa dla parametru (lub zestawu parametrów) zależą od modelu statystycznego.

Rozkład Gaussa z parametrem średnim

Dla rozkładu Gaussa wartości rzeczywistej${\displaystyle x}$

${\ Displaystyle f (x \ mid \ mu) = {\ Frac {e ^ {- (x- \ mu) ^ {2}/2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}}}$

ze stałą, przed Jeffreysem dla średniej wynosi ${\displaystyle \sigma}$${\ Displaystyle \ mu}$

${\ Displaystyle {\ zacząć {wyrównany} p (\ mu) i \ propto {\ sqrt {ja (\ mu)}} = {\ sqrt {\ operatorname {E} \! \ lewo [\ lewo ({\ Frac { d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\nazwa operatora {E} \!\left[\left({\ szczelina {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty } f(x\mid \mu )\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}dx}}={\sqrt {1/\sigma ^{ 2}}}\propto 1.\end{wyrównany}}}$

Oznacza to, że poprzedni Jeffreys nie zależy od ; jest to nieznormalizowany rozkład jednostajny na linii rzeczywistej — rozkład równy 1 (lub jakaś inna stała stała) dla wszystkich punktów. Jest to niewłaściwy uprzedni i jest, aż do wyboru stałej, niepowtarzalnym rozkładem niezmiennym translacji na liczbach rzeczywistych ( miara Haara w odniesieniu do dodawania liczb rzeczywistych), odpowiadającym średniej będącej miarą położenia i niezmienności translacji odpowiadające brakowi informacji o lokalizacji. ${\ Displaystyle \ mu}$${\ Displaystyle \ mu}$

Rozkład Gaussa z parametrem odchylenia standardowego

Dla rozkładu Gaussa wartości rzeczywistej${\displaystyle x}$

${\ Displaystyle f (x \ mid \ sigma) = {\ Frac {e ^ {- (x- \ mu) ^ {2}/2 \ sigma ^ {2}}} {\ sqrt {2 \ pi \ sigma ^ {2}}}},}$

ze stałą, przed Jeffreysa dla odchylenia standardowego wynosi ${\ Displaystyle \ mu}$${\ Displaystyle \ sigma > 0}$

${\ Displaystyle {\ zacząć {wyrównany} p (\ sigma) i \ propto {\ sqrt {ja (\ sigma)}} = {\ sqrt {\ operatorname {E} \! \ lewo [\ lewo ({\ Frac { d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\nazwa operatora {E} \!\left[\left({\ szczelina {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\ int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^ {3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\ koniec{wyrównany}}}$

Równoważnie, przed Jeffreysa dla jest nieznormalizowanym rozkładem jednostajnym na linii rzeczywistej, a zatem rozkład ten jest również znany jako${\textstyle \log \sigma =\int d\sigma /\sigma }$ logarytmiczny uprzedni . Podobnie, poprzedni Jeffreysrównież jest jednolity. Jest to unikalna (do wielokrotności) poprzednia (na dodatnichliczbachrzeczywistych), czyliniezmiennikskali(miara Haaraw odniesieniu do mnożenia dodatnich liczb rzeczywistych), odpowiadająca odchyleniu standardowemubędącemumiarąskalii niezmienniczości skali odpowiadającej brak informacji o skali. Podobnie jak w przypadku równomiernego rozkładu na realach, jest toniewłaściwy przeor. ${\ Displaystyle \ log \ sigma ^ {2} = 2 \ log \ sigma}$

Rozkład Poissona z parametrem szybkości

Dla rozkładu Poissona nieujemnej liczby całkowitej , ${\ Displaystyle n}$

${\ Displaystyle f (n \ mid \ lambda ) = e ^ {- \ lambda} {\ frac {\ lambda ^ {n}} {n!}}}$

Jeffreys przed parametrem szybkości to ${\ Displaystyle \ lambda \ geq 0}$

${\ Displaystyle {\ zacząć {wyrównany} p (\ lambda) i \ propto {\ sqrt {ja (\ lambda)}} = {\ sqrt {\ operatorname {E} \! \ lewo [\ lewo ({\ Frac { d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\nazwa operatora {E} \!\left[\left({\ frac {n-\lambda }{\lambda }}\right)^{2}\right]}\\&={\sqrt {\sum _{n=0}^{+\infty }f(n\ mid \lambda )\left({\frac {n-\lambda }{\lambda }}\right)^{2}}}={\sqrt {\frac {1}{\lambda }}}.\end{ wyrównany}}}$

Równoważnie, przed Jeffreysa dla jest nieznormalizowanym rozkładem jednostajnym na nieujemnej linii rzeczywistej. ${\textstyle {\sqrt {\lambda }}=\int d\lambda /{\sqrt {\lambda }}}$

Proces Bernoulliego

W przypadku monety, która z prawdopodobieństwem jest „orzełkiem” i jest „remką” z prawdopodobieństwem , dla danego prawdopodobieństwa wynosi . Jeffreys przed parametrem to ${\ Displaystyle \ gamma \ w [0,1]}$${\displaystyle 1-\gamma}$${\ Displaystyle (H, T) \ w \ {(0,1), (1,0) \}}$${\ Displaystyle \ gamma ^ {H} (1-\ gamma) ^ {T}}$${\ Displaystyle \ gamma}$

${\ Displaystyle {\ zacząć {wyrównany} p (\ gamma) i \ propto {\ sqrt {ja (\ gamma)}} = {\ sqrt {\ operatorname {E} \! \ lewo [\ lewo ({\ Frac { d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\nazwa operatora {E} \!\left[\left({\ frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\ frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma } }-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\ koniec{wyrównany}}}$

To jest dystrybucja arcus sinus i jest to dystrybucja beta z . Ponadto, jeśli wtedy ${\ Displaystyle \ alfa = \ beta = 1/2}$${\ Displaystyle \ gamma = \ grzech ^ {2} (\ theta)}$

${\ Displaystyle \ Pr [\ theta] = \ Pr [\ Gamma] {\ Frac {d \ Gamma} {d \ theta}} \ propto {\ Frac {1} {\ sqrt {(\ sin ^ {2}\ theta )(1-\sin ^{2}\theta )}}}~2\sin \theta \cos \theta =2\,.}$

Oznacza to, że uprzednia forma Jeffreysa jest jednolita w przedziale . Równoważnie jest jednolita na całym kole . ${\displaystyle \theta}$${\displaystyle [0,\pi/22]}$${\displaystyle \theta}$${\displaystyle [0,2\pi]}$

N- stronna kość z obciążonymi prawdopodobieństwami

Podobnie, dla rzutu kostką jednostronną z prawdopodobieństwem wyniku , każde nieujemne i satysfakcjonujące , przed Jeffreysa dla jest rozkład Dirichleta ze wszystkimi parametrami (alfa) ustawionymi na połowę. Sprowadza się to do użycia pseudoliczby jednej połowy dla każdego możliwego wyniku. ${\ Displaystyle N}$${\ Displaystyle {\ vec {\ gamma }} = (\ gamma _ {1}, \ ldots, \ gamma _ {N})}$${\ Displaystyle \ suma _ {i = 1} ^ {N} \ gamma _ {i} = 1}$${\displaystyle {\vec {\gamma}}}$

Równoważnie, jeśli napiszemy dla każdego , to uprzednia dla Jeffreysa dla jest jednorodna na ( N  − 1)-wymiarowej sferze jednostkowej ( tj . jest jednorodna na powierzchni N- wymiarowej kuli jednostkowej ). ${\ Displaystyle \ gamma _ {i} = \ varphi _ {i} ^ {2}}$${\displaystyle i}$${\displaystyle {\vec {\varphi }}}$

Bibliografia

Dalsza lektura

• Jeffreys, H. (1946). „Forma niezmienna dla prawdopodobieństwa a priori w problemach szacowania” . Postępowanie Royal Society of London. Seria A, Nauki Matematyczne i Fizyczne . 186 (1007): 453-461. doi : 10.1098/rspa.1946.0056 . JSTOR  97883 . PMID  20998741 .
• Jeffreys, H. (1939). Teoria prawdopodobieństwa . Oxford University Press.
• Kass, Robert E.; Wasserman, Larry (1996). „Wybór uprzednich dystrybucji według zasad formalnych”. Dziennik Amerykańskiego Towarzystwa Statystycznego . 91 (435): 1343-1370. doi : 10.1080/01621459.1996.10477003 .