Rozkład wielomianowy - Multinomial distribution

Wielomianowy

Parametry	${\displaystyle n>0}$liczba prób ( liczba całkowita ) prawdopodobieństwo zdarzenia ( ) ${\displaystyle p_{1},\ldots,p_{k}}$${\ Displaystyle \ Sigma p_ {i} = 1}$
Wsparcie	${\ Displaystyle x_ {i} \ w \ {0, \ kropki, n \}, \, \, \, \, ja \ w \ {1, \ kropki, k \}, \, {\ textrm {z} }\suma _{i}x_{i}=n}$ ${\displaystyle \!}$
PMF	${\ Displaystyle {\ Frac {n!} {x_ {1}! \ cdots x_ {k}!}} p_ {1} ^ {x_ {1}} \ cdots p_ {k} ^ {x_ {k}}}$
Oznaczać	${\ Displaystyle \ Operatorname {E} (X_ {i}) = np_ {i}}$
Zmienność	${\ Displaystyle \ Operatorname {Var} (X_ {i}) = np_ {i} (1-p_ {i})}$ ${\ Displaystyle \ Operatorname {Cov} (X_ {i}, X_ {j}) = -np_ {i} p_ {j} ~ ~ (i \ neq j)}$
Entropia	${\ Displaystyle - \ log (n!) - n \ suma _ {i = 1} ^ {k} p_ {i} \ log (p_ {i}) + \ suma _ {i = 1} ^ {k} \ suma _{x_{i}=0}^{n}{\binom {n}{x_{i}}}p_{i}^{x_{i}}(1-p_{i})^{n- x_{i}}\log(x_{i}!)}$
MGF	${\ Displaystyle {\ biggl (} \ suma _ {i = 1} ^ {k} p_ {i} e ^ {t_ {i}} {\ biggr)} ^ {n}}$
CF	${\ Displaystyle \ lewo (\ suma _ {j = 1} ^ {k} p_ {j} e ^ {it_ {j}} \ po prawej) ^ {n}}$ gdzie ${\ Displaystyle i ^ {2} = -1}$
PGF	${\ Displaystyle {\ biggl (} \ suma _ {i = 1} ^ {k} p_ {i} z_ {i} {\ biggr)} ^ {n} {\ tekst {dla}} (z_ {1}, \ldots ,z_{k})\in \mathbb {C} ^{k}}$

W teorii prawdopodobieństwa , rozkład wielomianu jest uogólnieniem rozkładu dwumianowego . Na przykład modeluje prawdopodobieństwo zliczeń dla każdej strony k- bocznej kości wyrzuconych n razy. Dla n niezależnych prób, z których każda prowadzi do sukcesu dla dokładnie jednej z k kategorii, przy czym każda kategoria ma określone stałe prawdopodobieństwo sukcesu, rozkład wielomianowy podaje prawdopodobieństwo dowolnej konkretnej kombinacji liczb sukcesów dla różnych kategorii.

Gdy k wynosi 2, a n wynosi 1, rozkładem wielomianowym jest rozkład Bernoulliego . Gdy k wynosi 2, a n jest większe niż 1, jest to rozkład dwumianowy . Gdy k jest większe niż 2, a n wynosi 1, jest to rozkład kategoryczny .

Rozkład Bernoulliego modeluje wynik pojedynczej próby Bernoulliego . Innymi słowy, modeluje, czy rzucenie (prawdopodobnie tendencyjną ) monetą raz spowoduje sukces (uzyskanie orła), czy porażkę (uzyskanie ogona). Rozkład dwumianowy uogólnia to na liczbę orłów z wykonania n niezależnych rzutów (próby Bernoulliego) tej samej monety. Rozkład wielomianowy modeluje wynik n eksperymentów, gdzie wynik każdej próby ma rozkład kategoryczny , taki jak n- krotne toczenie k- bocznej matrycy .

Niech k będzie ustaloną liczbą skończoną. Matematycznie mamy k możliwych wzajemnie wykluczających się wyników, z odpowiednimi prawdopodobieństwami p ₁ , ..., p _k i n niezależnych prób. Ponieważ k wyników wyklucza się wzajemnie i jeden musi wystąpić, mamy p _i  ≥ 0 dla i  = 1, ...,  k oraz . Następnie, jeśli zmienne losowe X _i wskazują, ile razy wynik i jest obserwowany w n próbach, wektor X  = ( X ₁ , ...,  X _k ) jest zgodny z rozkładem wielomianowym z parametrami n i p , gdzie p  = ( s ₁ , ...,  s _k ). Chociaż próby są niezależne, ich wyniki X są zależne, ponieważ muszą być zsumowane do n. ${\ Displaystyle \ suma _ {i = 1} ^ {k} p_ {i} = 1}$

Definicje

Prawdopodobieństwo funkcji masowej

Załóżmy, że ktoś przeprowadza eksperyment polegający na wydobyciu n kulek k różnych kolorów z torby, zastępując je po każdym losowaniu. Kulki tego samego koloru są równoważne. Oznacz zmienną będącą liczbą wydobytych kulek koloru i ( i = 1, ..., k ) jako X _i , a jako p _i oznacz prawdopodobieństwo, że dana ekstrakcja będzie w kolorze i . Funkcja masy prawdopodobieństwa tego rozkładu wielomianowego to:

${\ Displaystyle {\ zacząć {wyrównany} f (x_ {1}, \ ldots, x_ {k}; n, p_ {1}, \ ldots, p_ {k}) i {} = \ Pr (X_ {1} = x_ {1} {\ tekst { i }} \ kropki {\ tekst { i }} X_ {k} = x_ {k}) \ \ & {} = {\ zacząć {przypadki} {\ Displaystyle {n! \over x_{1}!\cdots x_{k}!}p_{1}^{x_{1}}\times \cdots \times p_{k}^{x_{k}}},\quad &{\ text{kiedy }}\sum _{i=1}^{k}x_{i}=n\\\\0&{\text{otherwise,}}\end{cases}}\end{wyrównany}}}$

dla nieujemnych liczb całkowitych x ₁ , ..., x _k .

Funkcję masy prawdopodobieństwa można wyrazić za pomocą funkcji gamma jako:

${\ Displaystyle f (x_ {1}, \ kropki, x_ {k}; p_ {1}, \ ldots, p_ {k}) = {\ Frac {\ Gamma (\ suma _ {i} x_ {i} + 1)}{\prod _{i}\Gamma (x_{i}+1)}}\prod _{i=1}^{k}p_{i}^{x_{i}}.}$

Ta forma wykazuje podobieństwo do rozkładu Dirichleta , który jest jego sprzężonym poprzednikiem .

Przykład

Załóżmy, że w trójstronnych wyborach w dużym kraju kandydat A otrzymał 20% głosów, kandydat B 30% głosów, a kandydat C 50% głosów. Jeżeli losowo wybiera się sześciu wyborców, jakie jest prawdopodobieństwo, że w próbie będzie dokładnie jeden zwolennik kandydata A, dwóch zwolenników kandydata B i trzech zwolenników kandydata C?

Uwaga: Ponieważ zakładamy, że głosująca populacja jest duża, rozsądne i dopuszczalne jest myślenie, że prawdopodobieństwa nie zmieniają się po wybraniu wyborcy do próby. Technicznie rzecz biorąc, jest to próbkowanie bez zastępowania, więc prawidłowym rozkładem jest wielowymiarowy rozkład hipergeometryczny , ale rozkłady zbiegają się w miarę wzrostu populacji.

${\ Displaystyle \ Pr (A = 1, B = 2, C = 3) = {\ Frac {6!} {1! 2! 3!}} (0,2 ^ {1}) (0,3 ^ {2}) ( 0,5^{3})=0,135}$

Nieruchomości

Oczekiwana wartość i wariancja

Oczekuje się , ile razy Wynik i obserwowano na brak badania jest

${\ Displaystyle \ Operatorname {E} (X_ {i}) = np_ {i}. \,}$

Kowariancji jest następujący. Każdy wpis diagonalny jest wariancją zmiennej losowej o rozkładzie dwumianowym, a zatem jest

${\ Displaystyle \ Operatorname {Var} (X_ {i}) = np_ {i} (1-p_ {i}). \,}$

Wpisy poza przekątną to kowariancje :

${\ Displaystyle \ Operatorname {Cov} (X_ {i}, X_ {j}) = -np_ {i} p_ {j} \,}$

dla i , j odrębne.

Wszystkie kowariancje są ujemne, ponieważ dla ustalonego n wzrost jednej składowej wektora wielomianowego wymaga zmniejszenia innej składowej.

Gdy te wyrażenia są połączone w macierz z elementem i, j, wynikiem jest macierz kowariancji dodatnio-półokreślonej k × k rzędu k  − 1. W szczególnym przypadku, gdy k  =  n i gdzie wszystkie p _i są równe, kowariancja macierz jest macierzą centrującą . ${\ Displaystyle \ operatorname {cov} (X_ {i}, X_ {j}),}$

Wpisy odpowiedniej macierzy korelacji to

${\ Displaystyle \ rho (X_ {i}, X_ {i}) = 1.}$

${\ Displaystyle \ rho (X_ {i}, X_ {j}) = {\ Frac {\ Operator {Cov} (X_ {i}, X_ {j})} {\ sqrt {\ operator {Var} (X_ { i})\nazwa operatora {Var} (X_{j})}}}={\frac {-p_{i}p_{j}}{\sqrt {p_{i}(1-p_{i})p_{ j}(1-p_{j})}}}=-{\sqrt {\frac {p_{i}p_{j}}{(1-p_{i})(1-p_{j})}} }.}$

Zauważ, że wielkość próbki wypada z tego wyrażenia.

Każda ze składowych k oddzielnie ma rozkład dwumianowy z parametrami n oraz p _i , dla odpowiedniej wartości indeksu dolnego i .

Wsparcie rozkładu wielomianu jest zbiorem

${\ Displaystyle \ {(n_ {1}, \ kropki, n_ {k}) \ w \ mathbb {N} ^ {k} \ mid n_ {1} + \ cdots + n_ {k} = n \}. \ ,}$

Jego liczba elementów to

${\ Displaystyle {n + k-1 \ wybierz k-1}.}$

Notacja macierzowa

W notacji macierzowej

${\ Displaystyle \ operatorname {E} (\ mathbf {X}) = n \ mathbf {p}, \,}$

i

${\ Displaystyle \ operatorname {Var} (\ mathbf {X}) = n \ lbrace \ operatorname {diag} (\ mathbf {p}) - \ mathbf {p} \ mathbf {p} ^ {\ rm {T}} \ruchwyt ,\,}$

gdzie p ^T = wektor wiersza transponuje wektor kolumny p .

Wyobrażanie sobie

Jak plasterki uogólnionego trójkąta Pascala

Tak jak można zinterpretować rozkład dwumianowy jako (znormalizowane) jednowymiarowe (1D) wycinki trójkąta Pascala , tak samo można zinterpretować rozkład wielomianowy jako dwuwymiarowe (trójkątne) wycinki piramidy Pascala lub 3D/4D/+ (piramida- w kształcie) plastry wyższych wymiarowych odpowiedników trójkąta Pascala. To ujawnia interpretację zasięgu rozkładu: zdyskretyzowane „piramidy” równoboczne w dowolnym wymiarze – czyli simpleks z siatką.

Jako współczynniki wielomianu

Podobnie, tak jak można zinterpretować rozkład dwumianowy jako współczynniki wielomianu po rozszerzeniu, można zinterpretować rozkład wielomianowy jako współczynniki po rozszerzeniu. (Zauważ, że podobnie jak w przypadku rozkładu dwumianowego, współczynniki muszą sumować się do 1.) To jest pochodzenie nazwy „ rozkład wielomianowy ”. ${\ Displaystyle (p + (1-p)) ^ {n}}$${\ Displaystyle (p_ {1} + p_ {2} + p_ {3} + \ cdots + p_ {k}) ^ {n}}$

Powiązane dystrybucje

W niektórych dziedzinach, takich jak przetwarzanie języka naturalnego , rozkłady jakościowy i wielomianowy są synonimami i często mówi się o rozkładzie wielomianowym, gdy w rzeczywistości chodzi o rozkład jakościowy. Wynika to z faktu, że czasami wygodnie jest wyrazić wynik rozkładu kategorycznego jako wektor „1-z-K” (wektor z jednym elementem zawierającym 1 i wszystkimi innymi elementami zawierającymi 0), a nie jako liczbę całkowitą w zakresie ; w tej formie rozkład kategoryczny jest równoważny rozkładowi wielomianowemu w jednej próbie. ${\ Displaystyle 1 \ kropki K}$

• Gdy k = 2, rozkład wielomianowy jest rozkładem dwumianowym .
• Rozkład kategoryczny , rozkład każdej próby; dla k = 2 jest to rozkład Bernoulliego .
• Rozkład Dirichleta jest sprzężoną poprzedniczką wielomianu w statystyce bayesowskiej .
• Rozkład wielomianowy Dirichleta .
• Model dwumianowy beta .
• Ujemny rozkład wielomianowy
• Zasada Hardy'ego-Weinberga (jest to rozkład trójmianowy z prawdopodobieństwami )${\ Displaystyle (\ theta ^ {2}, 2 \ theta (1-\ theta), (1-\ theta ) ^ {2})}$

Wnioskowanie statystyczne

Testy równoważności dla rozkładów wielomianowych

Celem testów równoważności jest ustalenie zgodności między teoretycznym rozkładem wielomianowym a obserwowanymi częstotliwościami zliczania. Rozkład teoretyczny może być w pełni określonym rozkładem wielomianowym lub parametryczną rodziną rozkładów wielomianowych.

Pozwolić oznacza teoretyczny rozkład wielomianu i pozwól być prawdziwym dystrybucja bazowy. Rozkłady i są uważane za równoważne, jeśli dla odległości i parametru tolerancji . Problem testu równoważności jest kontra . Prawdziwy rozkład bazowy jest nieznany. Zamiast tego obserwuje się częstotliwości zliczania , gdzie oznacza wielkość próbki. Test równoważności służy do odrzucenia . Jeśli można odrzucić, to równoważność między i jest pokazana na danym poziomie istotności. Test równoważności odległości euklidesowej można znaleźć w podręczniku Welleka (2010). Test równoważności dla całkowitej odległości zmienności został opracowany przez Ostrovskiego (2017). Dokładny test równoważności dla określonej skumulowanej odległości zaproponował Frey (2009). ${\displaystyle q}$${\displaystyle p}$${\displaystyle p}$${\displaystyle q}$${\displaystyle d(p,q)<\varepsilon}$${\displaystyle d}$${\ Displaystyle \ varepsilon > 0}$${\ Displaystyle H_ {0}= \ {d (p, q) \ geq \ varepsilon \}}$${\ Displaystyle H_ {1} = \ {d (p, q) <\ varepsilon \}}$${\displaystyle p}$${\displaystyle p_{n}}$${\ Displaystyle n}$${\displaystyle p_{n}}$${\displaystyle H_{0}}$${\displaystyle H_{0}}$${\displaystyle p}$${\displaystyle q}$

Odległość między rzeczywistym rozkładem podstawowym a rodziną rozkładów wielomianowych jest określona przez . Następnie problem testu równoważności jest podany przez i . Odległość jest zwykle obliczana przy użyciu optymalizacji numerycznej. Testy dla tego przypadku zostały opracowane niedawno w Ostrovski (2018). ${\displaystyle p}$${\ Displaystyle {\ Mathcal {M}}}$${\ Displaystyle d (p {\ mathcal {M}}) = \ min _ {h \ w {\ mathcal {M}}} d (p, h)}$${\ Displaystyle H_ {0}= \ {d (p {\ mathcal {M}}) \ geq \ varepsilon \}}$${\ Displaystyle H_ {1} = \ {d (p {\ mathcal {M}}) <\ varepsilon \}}$${\ Displaystyle d (p {\ matematyka {M}})}$

Metody obliczeniowe

Próbkowanie z rozkładu wielomianowego

Po pierwsze, zmień kolejność parametrów w taki sposób, aby były posortowane w kolejności malejącej (jest to tylko przyspieszenie obliczeń i nie jest to bezwzględnie konieczne). Teraz dla każdej próby narysuj zmienną pomocniczą X z rozkładu jednostajnego (0, 1). Wynikowy wynik to składnik ${\displaystyle p_{1},\ldots,p_{k}}$

${\ Displaystyle j = \ min \ lewo \ {j' \ w \ {1, \ kropki, k \}: \ lewo (\ suma _ {i = 1} ^ {j'} p_ {i} \ po prawej) - X\geq 0\prawo\}.}$

{ X _J = 1, X _k = 0 do K  ≠  j } jest obserwacja z podziału wielomianu z a n  = 1. suma niezależnych powtórzeniach tego doświadczenia jest obserwacja z podziału wielomianu z n równa liczbie takie powtórzenia. ${\displaystyle p_{1},\ldots,p_{k}}$

Aby przeprowadzić symulację z rozkładu wielomianowego

Do symulacji z rozkładu wielomianowego można zastosować różne metody. Bardzo prostym rozwiązaniem jest użycie jednolitego generatora liczb pseudolosowych na (0,1). Najpierw dzielimy przedział (0,1) na  k podprzedziałów o długości równej prawdopodobieństwu k kategorii. Następnie generujemy n niezależnych liczb pseudolosowych, aby określić, w którym z k przedziałów występują i policzyć liczbę wystąpień w każdym przedziale.

Przykład

Jeśli mamy:

Kategorie	1	2	3	4	5	6
Prawdopodobieństwa	0,15	0,20	0,30	0,16	0,12	0,07
Najwyższe granice podprzedziałów	0,15	0,35	0,65	0,81	0,93	1,00

Następnie, korzystając z oprogramowania typu Excel, możemy zastosować następującą receptę:

Komórki :	Ai	Bi	Ci	...	Żołnierz amerykański
Formuły:	Skraj()	=Jeśli($Ai<0,15;1;0)	=Jeśli(I($Ai>=0,15;$Ai<0,35);1;0)	...	=Jeśli($Ai>=0,93;1;0)

Następnie użyjemy funkcji takich jak SumIf, aby zgromadzić obserwowane wyniki według kategorii i obliczyć oszacowaną macierz kowariancji dla każdej symulowanej próbki.

Innym sposobem jest użycie generatora dyskretnych liczb losowych. W takim przypadku kategorie muszą być oznaczone lub ponownie oznaczone wartościami liczbowymi.

W obu przypadkach wynikiem jest rozkład wielomianowy z k kategorii. Jest to równoważne, z ciągłym rozkładem losowym, aby symulować k niezależnych standaryzowanych rozkładów normalnych lub rozkład multinormalny N(0,I) mający k składowych o identycznym rozkładzie i statystycznie niezależnych.

Ponieważ liczebności wszystkich kategorii muszą sumować się do liczby prób, liczebności kategorii są zawsze ujemnie skorelowane.

Bibliografia

Cytaty

Źródła