Prawdopodobieństwo dziennika - Log probability

W teorii prawdopodobieństwa i informatyki , A prawdopodobieństwo dziennika jest po prostu logarytm z prawdopodobieństwem . Zastosowanie logarytmicznych prawdopodobieństw oznacza przedstawianie prawdopodobieństw na skali logarytmicznej zamiast standardowego przedziału jednostkowego . ${\ displaystyle [0,1]}$

Ponieważ prawdopodobieństwa niezależnych zdarzeń mnożą się, a logarytmy zamieniają mnożenie na dodawanie, sumują się prawdopodobieństwa zdarzeń niezależnych. Prawdopodobieństwa logarytmiczne są zatem praktyczne w obliczeniach i mają intuicyjną interpretację w kategoriach teorii informacji : minusem średniego prawdopodobieństwa logarytmicznego jest entropia informacyjna zdarzenia. Podobnie, prawdopodobieństwa są często przekształcane na skalę logarytmiczną, a odpowiadające im prawdopodobieństwo logarytmiczne można interpretować jako stopień, w jakim zdarzenie obsługuje model statystyczny . Prawdopodobieństwo logarytmiczne jest szeroko stosowane w implementacjach obliczeń z prawdopodobieństwem i jest badane jako pojęcie samo w sobie w niektórych zastosowaniach teorii informacji, takich jak przetwarzanie języka naturalnego .

Motywacja

Reprezentowanie prawdopodobieństwa w ten sposób ma kilka praktycznych zalet:

1. Prędkość. Ponieważ mnożenie jest droższe niż dodawanie, obliczenie iloczynu dużej liczby prawdopodobieństw jest często szybsze, jeśli są one przedstawiane w postaci dziennika. (Konwersja do postaci dziennika jest kosztowna, ale jest wykonywana tylko raz). Mnożenie wynika z obliczenia prawdopodobieństwa wystąpienia wielu niezależnych zdarzeń: prawdopodobieństwo wystąpienia wszystkich niezależnych zdarzeń będących przedmiotem zainteresowania jest iloczynem prawdopodobieństw wszystkich tych zdarzeń.
2. Precyzja. Zastosowanie prawdopodobieństw logarytmicznych poprawia stabilność numeryczną , gdy prawdopodobieństwa są bardzo małe, ze względu na sposób, w jaki komputery przybliżają liczby rzeczywiste .
3. Prostota. Wiele rozkładów prawdopodobieństwa ma postać wykładniczą. Zapisywanie logów tych rozkładów eliminuje funkcję wykładniczą, rozwijając wykładnik. Na przykład logarytm prawdopodobieństwa funkcji gęstości prawdopodobieństwa rozkładu normalnego jest zamiast . Logiczne prawdopodobieństwa sprawiają, że niektóre operacje matematyczne są łatwiejsze do wykonania. ${\ Displaystyle - ((x-m_ {x}) / \ sigma _ {m.}) ^ {2} + C}$${\ Displaystyle C_ {2} \ exp \ lewo (- ((x-m_ {x}) / \ sigma _ {m}) ^ {2} \ prawej)}$

Kwestie reprezentacyjne

Funkcja logarytmu nie jest zdefiniowana jako zero, więc logarytm prawdopodobieństwa może reprezentować tylko niezerowe prawdopodobieństwa. Ponieważ logarytm liczby w przedziale jest ujemny, często używa się ujemnych logarytmów prawdopodobieństwa. W takim przypadku logarytm prawdopodobieństwa w poniższych wzorach zostałby odwrócony . ${\ displaystyle (0,1)}$

Do logarytmu można wybrać dowolną podstawę.

${\ Displaystyle x '= \ log (x) \ w \ mathbb {R}}$

${\ Displaystyle y '= \ log (y) \ w \ mathbb {R}}$

Podstawowe manipulacje

Iloczyn prawdopodobieństw odpowiada dodawaniu w przestrzeni logarytmicznej. ${\ displaystyle x \ cdot y}$

${\ Displaystyle \ log (x \ cdot y) = \ log (x) + \ log (y) = x '+ y'.}$

Suma prawdopodobieństw jest nieco bardziej zaangażowane, aby obliczyć w przestrzeni logarytmicznej, wymagające obliczenia jednej wykładnik i jednego logarytmu. ${\ displaystyle x + y}$

Jednak w wielu zastosowaniach częściej stosuje się mnożenie prawdopodobieństw (dające prawdopodobieństwo wystąpienia wszystkich niezależnych zdarzeń) niż ich dodawanie (dając prawdopodobieństwo wystąpienia przynajmniej jednego z nich). Ponadto w niektórych sytuacjach można uniknąć kosztu obliczania dodawania, używając po prostu najwyższego prawdopodobieństwa jako przybliżenia. Ponieważ prawdopodobieństwa są nieujemne, daje to dolną granicę. To przybliżenie jest używane w odwrotnej kolejności, aby uzyskać ciągłe przybliżenie funkcji max .

Dodatek w obszarze dziennika

${\ Displaystyle {\ rozpocząć {wyrównane} & \ log (x + y) \\ = {} & \ log (x + x \ cdot y / x) \\ = {} & \ log (x + x \ cdot \) exp (\ log (y / x))) \\ = {} & \ log (x \ cdot (1+ \ exp (\ log (y) - \ log (x)))) \\ = {} & \ log (x) + \ log (1+ \ exp (\ log (y) - \ log (x))) \\ = {} & x '+ \ log \ left (1+ \ exp \ left (y'-x '\ right) \ right) \ end {aligned}}}$

Powyższy wzór jest dokładniejszy niż , pod warunkiem, że korzysta się z asymetrii we wzorze dodawania. powinien być większym (najmniej ujemnym) z dwóch operandów. Daje to również prawidłowe zachowanie, jeśli jeden z operandów jest zmiennoprzecinkową ujemną nieskończonością , co odpowiada prawdopodobieństwu zerowemu. ${\ Displaystyle \ log \ lewo (e ^ {x '} + e ^ {y'} \ prawo)}$${\ displaystyle {x '}}$

${\ Displaystyle - \ infty + \ log \ lewo (1+ \ exp \ lewo (y '- (- \ infty) \ prawej) \ prawej) = - \ infty + \ infty}$ Ta ilość jest nieokreślona i będzie skutkowała NaN .

${\ Displaystyle x '+ \ log \ lewo (1+ \ exp \ lewo (- \ infty -x' \ prawej) \ prawej) = x '+ 0}$ To jest pożądana odpowiedź.

Sam powyższy wzór niepoprawnie da wynik nieokreślony w przypadku, gdy oba argumenty są . Należy to sprawdzić osobno, aby powrócić . ${\ displaystyle - \ infty}$${\ displaystyle - \ infty}$

Ze względów numerycznych należy używać funkcji obliczającej bezpośrednio ( log1p ). ${\ Displaystyle \ log (1 + x)}$

Zobacz też

• Treść informacji
• Prawdopodobieństwo dziennika