Treść informacji - Information content

W teorii informacji , do zawartości informacyjnej , własnej informacji , nieuwagę lub informacji Shannon jest podstawową ilość pochodząca z prawdopodobieństwem określonego zdarzenia występującego ze zmienną losową . Można go traktować jako alternatywny sposób wyrażania prawdopodobieństwa, podobnie jak szanse lub logarytmiczne szanse , ale który ma szczególne zalety matematyczne w kontekście teorii informacji.

Informacje Shannona można interpretować jako ilościowe określenie poziomu „zaskoczenia” określonego wyniku. Ponieważ jest to taka podstawowa wielkość, pojawia się ona również w kilku innych ustawieniach, takich jak długość komunikatu potrzebnego do przesłania zdarzenia przy optymalnym kodowaniu źródłowym zmiennej losowej.

Informacja Shannona jest ściśle powiązana z entropią teoretyczną informacji , która jest oczekiwaną wartością samoinformacji zmiennej losowej, określającą ilościowo, jak zaskakująca jest zmienna losowa „średnio”. Jest to średnia ilość informacji o sobie, jaką obserwator spodziewałby się uzyskać na temat zmiennej losowej podczas jej pomiaru.

Treść informacji może być wyrażona w różnych jednostkach informacji , z których najczęstszym jest „bit” (czasami nazywany również „shannon”), jak wyjaśniono poniżej.

Definicja

Definicja informacji o sobie Claude'a Shannona została wybrana tak, aby spełniała kilka aksjomatów:

Zdarzenie z prawdopodobieństwem 100% nie jest niczym zaskakującym i nie daje żadnych informacji.
Im mniej prawdopodobne jest zdarzenie, tym bardziej jest zaskakujące i tym więcej dostarcza informacji.
Jeśli dwa niezależne zdarzenia są mierzone oddzielnie, całkowita ilość informacji jest sumą informacji o indywidualnych zdarzeniach.

Szczegółowe wyprowadzenie znajduje się poniżej, ale można wykazać, że istnieje unikalna funkcja prawdopodobieństwa, która spełnia te trzy aksjomaty, aż do multiplikatywnego współczynnika skalowania. Ogólnie biorąc pod uwagę zdarzenie z prawdopodobieństwem , zawartość informacji definiuje się w następujący sposób: $x$ $P$

{\ Displaystyle \ Operatorname {I} (x): = - \ log _ {b} {\ po lewej [\ Pr {\ po lewej (x \ po prawej)} \ po prawej]} = - \ log _ {b} {\ po lewej (P\prawo)}.}

Podstawa dziennika pozostaje nieokreślona, co odpowiada powyższemu współczynnikowi skalowania. Różne wybory podstawy odpowiadają różnym jednostkom informacji: jeśli podstawa logarytmiczna wynosi 2, jednostką jest bit lub shannon ; jeśli logarytm jest logarytmem naturalnym (podstawa e ), jednostką jest nat , skrót od „naturalny”; a jeśli podstawą jest 10, jednostkami są hartley , cyfry dziesiętne lub czasami kropki .

Formalnie, biorąc pod uwagę zmienną losową z funkcją masy prawdopodobieństwa , samoinformacja pomiaru jako wynik jest zdefiniowana jako ${\ Displaystyle X}$ ${\ Displaystyle p_ {X} {\ lewy (x \ prawy)}}$ ${\ Displaystyle X}$ $x$

{\ Displaystyle \ Operatorname {I} _ {X} (x): = - \ log {\ lewo [p_ {X} {\ lewo (x \ prawo)} \ prawo]} = \ log {\ lewo ({\ złamanie {1}{p_{X}{\lewo(x\prawo)}}}\prawo)}.}

Shannon entropia zmiennej losowej powyżej zdefiniowany jako ${\ Displaystyle X}$

{\ Displaystyle {\ zacząć {wyrównany} {2} \ operatorname {H} (X) i = \ suma _ {x} {-p_ {X} {\ lewo (x \ po prawej)} \ log {p_ {X} {\left(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\nazwa operatora {I} _{X}(x)}\\ &{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end {wyrównany}}}

z definicji równa oczekiwanej zawartości informacyjnej pomiaru .

{\ Displaystyle X}

Użycie powyższej notacji do informacji o sobie nie jest uniwersalne. Ponieważ notacja jest również często używana dla powiązanej ilości wzajemnych informacji , wielu autorów zamiast tego używa małych liter dla autoentropii, co odzwierciedla użycie wielkiego dla entropii. ${\ Displaystyle I_ {X} (x)}$ ${\ Displaystyle I (X; Y)}$ ${\ Displaystyle h_ {X} (x)}$ ${\ Displaystyle H (X)}$

Nieruchomości

Monotonicznie malejąca funkcja prawdopodobieństwa

Dla danej przestrzeni prawdopodobieństwa pomiary rzadszych zdarzeń są intuicyjnie bardziej „zaskakujące” i dają więcej informacji niż bardziej powszechne wartości. Samoinformacja jest więc ściśle zmniejszającą się monotoniczną funkcją prawdopodobieństwa lub czasami nazywaną funkcją „antytoniczną”.

Podczas gdy standardowe prawdopodobieństwa są reprezentowane przez liczby rzeczywiste w przedziale , informacje własne są reprezentowane przez rozszerzone liczby rzeczywiste w przedziale . W szczególności mamy następujące, dla dowolnego wyboru podstawy logarytmicznej: $[0,1]$ $[0,\infty]$

Jeśli dane zdarzenie ma 100% prawdopodobieństwa wystąpienia, to jego samoinformacja jest taka : jego wystąpienie jest „zupełnie niezaskakujące” i nie daje żadnej informacji. $-\log(1)=0$
Jeśli dane zdarzenie ma 0% prawdopodobieństwa wystąpienia, to jego samoinformacja brzmi : jego wystąpienie jest „nieskończenie zaskakujące”. $-\log(0)=\infty$

Z tego możemy uzyskać kilka ogólnych właściwości:

Intuicyjnie, więcej informacji uzyskuje się dzięki obserwowaniu nieoczekiwanego zdarzenia – to „zaskakujące”.
- Na przykład, jeśli szansa Alicji na wygraną na loterii wynosi jeden na milion , jej przyjaciel Bob uzyska znacznie więcej informacji, dowiedziawszy się, że wygrała, niż przegrała danego dnia. (Zobacz też: Matematyka loterii .)
To ustanawia niejawny związek między samoinformacją zmiennej losowej a jej wariancją .

Stosunek do logarytmicznych kursów

Informacje Shannona są ściśle powiązane z log-odds . W szczególności, biorąc pod uwagę jakieś zdarzenie , załóżmy, że jest to prawdopodobieństwo wystąpienia, a to jest prawdopodobieństwo, że nie wystąpi. Następnie mamy następującą definicję logarytmicznych szans: $x$ $p(x)$ $x$ ${\ Displaystyle p (\ nie x) = 1-p (x)}$ $x$

{\ Displaystyle {\ tekst {log-kursy}} (x) = \ log \ lewo ({\ Frac {p (x)} {p (\ nie x)}} \ prawej)}

Można to wyrazić jako różnicę dwóch informacji Shannona:

{\ Displaystyle {\ tekst {log-kursy}} (x) = ja (\ nie x) - ja (x)}

Innymi słowy, logarytmiczne szanse mogą być interpretowane jako poziom zaskoczenia, jeśli zdarzenie „nie ma” minus poziom zaskoczenia, jeśli zdarzenie „nie” się wydarzy.

Addytywność niezależnych zdarzeń

Zawartość informacyjna dwóch niezależnych wydarzeń jest sumą zawartości informacyjnej każdego wydarzenia. Ta właściwość jest znana jako addytywność w matematyce, a addytywność sigma w szczególności w teorii miary i prawdopodobieństwa. Rozważ dwie niezależne zmienne losowe z funkcjami masy prawdopodobieństwa i odpowiednio. Funkcją masy prawdopodobieństwa stawów jest ${\textstyle X,\,Y}$ ${\ Displaystyle p_ {X} (x)}$ ${\ Displaystyle p_ {Y} (y)}$

{\ Displaystyle p_ {X, Y} \! \ lewo (x, y \ prawo) = \ Pr (X = x \, Y = y) = p_ {X} \! (x) \ p_ {Y} \!(y)}

ponieważ i są niezależne . Zawartość informacyjna wyniku to ${\styl tekstu X}$ ${\textstyle Y}$ ${\ Displaystyle (X, Y) = (x, y)}$

{\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} _ {X, Y} (x, y) & = - \ log _ {2} \ lewo [p_ {X, Y} (x, y) \ prawo ]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\[5pt]&=-\log _{2}\left[ p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\[5pt]&=\nazwa operatora {I} _{X} (x)+\nazwa operatora {I} _{Y}(y)\end{wyrównany}}}

Zobacz § Dwie niezależne, identycznie rozmieszczone kości poniżej dla przykładu.

Odpowiednia właściwość prawdopodobieństwa polega na tym, że logarytm prawdopodobieństwa niezależnych zdarzeń jest sumą logarytmicznych prawdopodobieństw każdego zdarzenia. Interpretując logarytm prawdopodobieństwa jako „wsparcie” lub negatywną niespodziankę (stopień, w jakim zdarzenie wspiera dany model: model jest wspierany przez zdarzenie w takim stopniu, w jakim zdarzenie nie jest zaskakujące, biorąc pod uwagę model), oznacza to, że niezależne zdarzenia dodają wsparcie: informacja, którą te dwa zdarzenia razem dostarczają do wnioskowania statystycznego, jest sumą ich niezależnych informacji.

Uwagi

Ta miara została również nazwana zaskoczeniem , ponieważ reprezentuje „ niespodziankę ” widząc wynik (wysoce nieprawdopodobny wynik jest bardzo zaskakujący). Termin ten (jako miara logarytmiczna prawdopodobieństwa) został ukuty przez Myrona Tribusa w jego książce z 1961 r. Termostatyka i termodynamika .

Gdy zdarzenie jest losową realizacją (zmiennej), samoinformacja zmiennej jest definiowana jako oczekiwana wartość samoinformacji o realizacji.

Samoinformacja jest przykładem prawidłowej zasady punktacji .

Przykłady

Uczciwy rzut monetą

Rozważmy proces Bernoulliego o rzucanie uczciwą monetą . W prawdopodobieństw tych zdarzeń z lądowania monety jako głowy i ogony (patrz uczciwą monetą i awers i rewers ) stanowią połowę każda . Po zmierzeniu zmiennej jako głów, związany z nią zysk informacyjny wynosi: ${\ Displaystyle X}$ ${\ Displaystyle H}$ $T$ ${\textstyle p_{X}{(H)}=p_{X}{(T)}={\tfrac {1}{2}}=0,5}$

{\ Displaystyle \ Operatorname {I} _ {X} (H) = - \ log _ {2} {p_ {X} {(H)}} = - \ log _ {2} \! {\ tfrac {1} {2}}=1,}

więc zysk informacji o uczciwym lądowaniu monet jako głów wynosi 1 shannon . Podobnie, zysk informacji z pomiaru ogonów jest

T

{\ Displaystyle \ Operatorname {I} _ {X} (T) = - \ log _ {2} {p_ {X} {(T)}} = - \ log _ {2} \! {\ tfrac {1} {2}}=1{\text{shannon}}.}

Uczciwy rzut kostką

Załóżmy, że mamy porządną kostkę sześciościenną . Wartość rzutu kostką jest dyskretną jednolitą zmienną losową z funkcją masy prawdopodobieństwa ${\ Displaystyle X \ sim \ operatorname {DU} [1,6]}$

{\ Displaystyle p_ {X} (k) = {\ zacząć {przypadki} {\ Frac {1} {6}} & k \ w \ {1,2,3,4,5,6 \} \ \ 0, &{\text{otherwise}}\end{cases}}}

Prawdopodobieństwo wyrzucenia 4 wynosi , jak w przypadku każdego innego prawidłowego rzutu. Zawartość informacyjna wyrzucenia 4 jest zatem

{\textstyle p_{X}(4)={\frac {1}{6}}}

{\ Displaystyle \ Operatorname {I} _ {X} (4) = - \ log _ {2} {p_ {X} {(4)}} = - \ log _ {2} {\ tfrac {1} {6 }}\ok 2,585\;{\text{shannons}}}

informacji.

Dwie niezależne, identycznie rozmieszczone kości

Załóżmy, że mamy dwie niezależne zmienne losowe o identycznym rozkładzie, z których każda odpowiada niezależnemu sprawiedliwemu rzutowi kostką z sześciu stron. Joint Distribution of a jest ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ${\ Displaystyle X}$ ${\ Displaystyle Y}$

{\ Displaystyle {\ zacząć {wyrównany} p_ {X, Y} \! \ lewo (x, y \ prawy) i {} = \ Pr (X = x \, Y = y) = p_ {X} \! (x) \ p_ {Y} \! (y) \ \ & {} = {\ zacząć {przypadki} \ Displaystyle {1 \ ponad 36} \ & x, y \ w [1,6] \ czapka \ mathbb {N} \\0&{\text{inaczej.}}\end{przypadki}}\end{wyrównany}}}

Zawartość informacyjna zmiennej losowej to ${\ Displaystyle (X, Y) = (2, \, 4)}$

{\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} _ {X, Y} {(2,4)} & = - \ log _ {2} \! {\ lewo [p_ {X, Y} {( 2,4)}\right]}=\log _{2}\!{36}=2\log _{2}\!{6}\\&\ok 5.169925{\text{ shannons}},\end {wyrównany}}}

i może być również obliczona przez § Addytywność niezależnych zdarzeń

{\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} _ {X, Y} {(2,4)} & = - \ log _ {2} \! {\ lewo [p_ {X, Y} {( 2,4)}\right]}=-\log _{2}\!{\left[p_{X}(2)\right]}-\log _{2}\!{\left[p_{Y }(4)\right]}\\&=2\log _{2}\!{6}\\&\ok 5.169925{\text{ shannons}}.\end{aligned}}}

Informacje z częstotliwości rolek

Jeśli otrzymamy informację o wartości kostki bez wiedzy, która kostka ma jaką wartość, możemy sformalizować podejście za pomocą tzw. zmiennych zliczających

{\ Displaystyle C_ {k}: = \ delta _ {k} (X) + \ delta _ {k} (Y) = {\ zacząć {przypadki} 0, & \ neg \, (X = k \ vee Y = k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{przypadki}}}

dla , wtedy i liczebności mają rozkład wielomianowy

{\ Displaystyle k \ w \ {1,2,3,4,5,6\}}

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

{\ Displaystyle {\ zacząć {wyrównany} f (c_ {1}, \ ldots, c_ {6}) i ​​{} = \ Pr (C_ {1} = c_ {1} {\ tekst {i}} \ kropki { \ tekst { i }} C_ {6} = c_ {6}) \ \ & {} = {\ zacząć {przypadki} {\ Displaystyle {1 \ ponad {18}} {1 \ nad c_ {1}! \ cdots c_{k}!}},\ &{\text{kiedy }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{inaczej,}}\end{przypadki }}\\&{}={\begin{przypadki}{1 \ponad 18},\ &{\text{gdy 2 }}c_{k}{\text{ są }}1\\{1 \ponad 36 },\ &{\text{kiedy dokładnie jeden }}c_{k}=2\\0,\ &{\text{otherwise.}}\end{cases}}\end{aligned}}}

Aby to udowodnić, że 6 wyniki odpowiadają przypadku i całkowitego prawdopodobieństwa, z ${\textstyle (X,Y)\in \lewo\{(k,k)\right\}_{k=1}^{6}=\lewo\{(1,1),(2,2), (3,3),(4,4),(5,5),(6,6)\prawo\}}$ ${\ Displaystyle C_ {k} = 2}$ 1/6. Są to jedyne wydarzenia, które są wiernie zachowane z tożsamością, które kości rzuciły jakim wynikiem, ponieważ wyniki są takie same. Bez wiedzy, jak rozróżnić kości rzucające innymi liczbami, inne kombinacje odpowiadają jednej kostce rzucającej jedną liczbą, a drugiej rzucającej inną liczbą, z których każda ma prawdopodobieństwo ${\textstyle {\binom {6}{2}}=15}$ 1/18. Rzeczywiście, zgodnie z wymaganiami. ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$

Nic dziwnego, że informacyjna treść uczenia się, że obie kości zostały rzucone jako ta sama konkretna liczba, jest czymś więcej niż informacyjna treść uczenia się, że jedna kostka była jedną liczbą, a druga inną liczbą. Weźmy na przykładach zdarzeń i dla . Na przykład i . ${\ Displaystyle A_ {k} = \ {(X, Y) = (k, k) \}}$ ${\ Displaystyle B_ {j, k} = \ {c_ {j} = 1 \} \ czapka \ {c_ {k} = 1 \}}$ $j\neq k,1\leq j,k\leq 6$ ${\ Displaystyle A_ {2} = \ {X = 2 {\ tekst {i}} Y = 2 \}}$ ${\ Displaystyle B_ {3,4} = \ {(3,4), (4, 3) \}}$

Zawartość informacji to

{\ Displaystyle \ Operatorname {I} (A_ {2}) = - \ log _ {2} \! {\ tfrac {1} {36}} = 5,169925 {\ tekst {Shannons}}}

{\ Displaystyle \ operatorname {I} \ lewo (B_ {3,4} \ prawo) = - \ log _ {2} \! {\ tfrac {1} {18}} = 4,169925 {\ tekst { shannons}}}

Niech będzie zdarzeniem, w którym obie kostki wyrzuciły tę samą wartość, i zdarzeniem, w którym kości się różnią. Następnie i . Treści informacyjne wydarzeń są ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\ Displaystyle {\ tekst {różnica}} = {\ overline {\ tekst {ten sam}}}}$ ${\textstyle \Pr({\text{Sam}})={\tfrac {1}{6}}}$ ${\textstyle \Pr({\text{Różnica}})={\tfrac {5}{6}}}$

{\ Displaystyle \ operatorname {I} ({\ tekst {ten sam}}) = - \ log _ {2} \! {\ tfrac {1} {6}} = 2,5849625 {\ tekst { shannons}}}

{\ Displaystyle \ operatorname {I} ({\ tekst {różnica}}) = - \ log _ {2} \! {\ tfrac {5} {6}} = 0,2630344 {\ tekst { shannons}}.}

Informacje z sumy wykrojów

Funkcja masy lub gęstości prawdopodobieństwa (łącznie miara prawdopodobieństwa ) sumy dwóch niezależnych zmiennych losowych jest splotem każdej miary prawdopodobieństwa . W przypadku niezależnych uczciwych rzutów kostką 6-stronną, zmienna losowa ma funkcję masy prawdopodobieństwa , gdzie reprezentuje splot dyskretny . Wynik ma prawdopodobieństwa . Dlatego twierdzi się, że: ${\ Displaystyle Z = X + Y}$ ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6-|z-7| \ponad 36}}$ ${\ Displaystyle *}$ ${\ Displaystyle Z = 5}$ ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$

{\ Displaystyle \ Operatorname {I} _ {Z} (5) = - \ log _ {2} {\ tfrac {1} {9}} = \ log _ {2} {9} \ około 3.169925 {\ tekst { shannon.}}}

Ogólny dyskretny równomierny rozkład

Uogólniając powyższy przykład § Sprawiedliwego rzutu kostką , rozważ ogólną dyskretną jednolitą zmienną losową (DURV) Dla wygody zdefiniuj . PMF jest ${\ Displaystyle X \ sim \ operatorname {DU} [a, b]; \ quad a, b \ w \ mathbb {Z}, \ b \ geq a.}$ ${\textstyle N:=b-a+1}$

{\ Displaystyle p_ {X} (k) = {\ zacząć {przypadki} {\ Frac {1} {N}} & k \ w [a, b] \ czapka \ mathbb {Z} \ \ 0 i {\ tekst{w przeciwnym razie}}.\end{cases}}}

Ogólnie rzecz biorąc, wartości DURV nie muszą być liczbami całkowitymi lub, dla celów teorii informacji, nawet równomiernie rozmieszczonymi; muszą być tylko równoprawdopodobne . Zyskiem informacji z każdej obserwacji jest:

{\ Displaystyle X = k}

{\ Displaystyle \ Operatorname {I} _ {X} (k) = - \ log _ {2} {\ Frac {1} {N}} = \ log _ {2} {N} {\ tekst {Shannons}} .}

Przypadek szczególny: stała zmienna losowa

Jeśli powyżej, degeneruje się do stałej zmiennej losowej z rozkładem prawdopodobieństwa deterministycznie podanym przez i miarą prawdopodobieństwa miarą Diraca . Jedyną wartością, jaką może przyjąć, jest wartość deterministyczna , więc zawartość informacyjna dowolnego pomiaru jest $b=a$ ${\ Displaystyle X}$ $X=b$ ${\textstyle p_{X}(k)=\delta _{b}(k)}$ ${\ Displaystyle X}$ $b$ ${\ Displaystyle X}$

{\ Displaystyle \ Operatorname {I} _ {X} (b) = - \ log _ {2} {1} = 0.}

Ogólnie rzecz biorąc, nie ma informacji uzyskanych z pomiaru znanej wartości.

Rozkład kategoryczny

Uogólniając wszystkie powyższe przypadki, rozważmy kategoryczną dyskretną zmienną losową ze wsparciem i pf podanym przez ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$

{\ Displaystyle p_ {X} (k) = {\ zacząć {przypadki} p_ {i}, & k = s_ {i} \ w {\ mathcal {S}} \ \ 0 i {\ tekst {inaczej}}. \end{przypadki}}}

Dla celów teorii informacji wartości nie muszą być liczbami ; mogą to być dowolne wzajemnie wykluczające się zdarzenia w przestrzeni miar o skończonej miary , która została znormalizowana do miary prawdopodobieństwa . Bez utraty ogólności możemy założyć, że rozkład kategoryczny jest obsługiwany na zbiorze ; struktura matematyczna jest izomorficzna pod względem teorii prawdopodobieństwa, a zatem również teorii informacji . ${\ Displaystyle s \ w {\ mathcal {S}}}$ $p$ ${\textstyle [N]=\lewo\{1,2,\dots ,N\prawo\}}$

Informacje o wynikach podano ${\ Displaystyle X = x}$

{\ Displaystyle \ Operatorname {I} _ {X} (x) = - \ log _ {2} {p_ {X} (x)}.}

Na podstawie tych przykładów możliwe jest obliczenie informacji o dowolnym zestawie niezależnych DRV o znanych rozkładach przez addytywność .

Związek z entropią

Entropia jest oczekiwana wartość zawartości informacyjnej zmiennej losowej dyskretnej , z oczekiwaniem przejętego dyskretnych wartości przez nią działań . Czasami sama entropia nazywana jest „self-informacyjny” zmiennej losowej, prawdopodobnie dlatego, że entropia spełnia , gdzie jest wzajemna informacja o sama ze sobą. ${\ Displaystyle \ operatorname {H} (X) = \ Operator {I} (X; X)}$ ${\ Displaystyle \ Operatorname {I} (X; X)}$ ${\ Displaystyle X}$

Dla ciągłych zmiennych losowych odpowiada pojęcie entropia różniczkowa .

Pochodzenie

Z definicji informacja jest przekazywana od podmiotu inicjującego posiadającego informacje do podmiotu odbierającego tylko wtedy, gdy odbiorca nie znał informacji a priori . Jeżeli podmiot odbierający znał wcześniej treść wiadomości z pewnością przed odebraniem wiadomości, ilość informacji otrzymanej wiadomości wynosi zero. Tylko wtedy, gdy wcześniejsza wiedza o treści wiadomości przez odbiorcę jest mniej niż 100% pewna, wiadomość faktycznie przekazuje informację.

Na przykład, cytując postać (Hippy Dippy Weatherman) komika George'a Carlina , „Prognoza pogody na dziś: ciemno. Ciągle ciemność w nocy, z szeroko rozproszonym światłem do rana. Zakładając, że nie mieszka się w pobliżu biegunów Ziemi lub kręgów podbiegunowych , ilość informacji przekazywanych w tej prognozie wynosi zero, ponieważ wiadomo przed otrzymaniem prognozy, że ciemność zawsze nadchodzi wraz z nocą.

W związku z tym ilość samodzielnego informacji zawartych w treści wiadomości przenoszenia informującą o wystąpieniu zdarzenia , zależy tylko od prawdopodobieństwa tego zdarzenia. ${\ Displaystyle \ omega _ {n}}$

{\ Displaystyle \ operatorname {I} (\ omega _ {n}) = f (\ operatorname {P} (\ omega _ {n}))}

dla niektórych funkcji, które zostaną określone poniżej. Jeśli , to . Jeśli , to .

f(\cdot)

{\ Displaystyle \ operatorname {P} (\ omega _ {n}) = 1}

{\ Displaystyle \ operatorname {I} (\ omega _ {n}) = 0}

{\ Displaystyle \ operatorname {P} (\ omega _ {n}) <1}

{\ Displaystyle \ operatorname {I} (\ omega _ {n})> 0}

Ponadto, z definicji, miara samoinformacji jest nieujemna i addytywna. Jeżeli komunikat informujący o zdarzeniu jest przecięciem dwóch niezależnych zdarzeń i , wtedy informacja o wystąpieniu zdarzenia jest informacją złożonej wiadomości zarówno o zdarzeniach niezależnych, jak i występujących. Oczekuje się, że ilość informacji wiadomości złożonej będzie równa sumie ilości informacji poszczególnych wiadomości składowych i odpowiednio: ${\ Displaystyle C}$ ${\ Displaystyle A}$ ${\ Displaystyle B}$ ${\ Displaystyle C}$ ${\ Displaystyle A}$ ${\ Displaystyle B}$ ${\ Displaystyle C}$ ${\ Displaystyle A}$ ${\ Displaystyle B}$

{\ Displaystyle \ nazwa operatora {I} (C) = \ nazwa operatora {I} (A \ czapka B) = \ nazwa operatora {I} (A) + \ nazwa operatora {I} (B).}

Ze względu na niezależność zdarzeń i prawdopodobieństwo zdarzenia wynosi ${\ Displaystyle A}$ ${\ Displaystyle B}$ ${\ Displaystyle C}$

{\ Displaystyle \ nazwa operatora {P} (C) = \ nazwa operatora {P} (A \ czapka B) = \ nazwa operatora {P} (A) \ cdot \ nazwa operatora {P} (B).}

Jednak zastosowanie funkcji powoduje $f(\cdot)$

{\ Displaystyle {\ zacząć {wyrównany} \ nazwa operatora {I} (C) i = \ nazwa operatora {I} (A) + \ nazwa operatora {I} (B) \ \ f (\ nazwa operatora {P} (C)) i =f(\nazwa operatora {P} (A))+f(\nazwa operatora {P} (B))\\&=f{\big (}\nazwa operatora {P} (A)\cdot \nazwa operatora {P} ( B){\big )}\\\end{wyrównany}}}

Dzięki pracy nad równaniem funkcyjnym Cauchy'ego jedyne funkcje monotoniczne mają taką właściwość, że $f(\cdot)$

{\ Displaystyle f (x \ cdot y) = f (x) + f (y)}

są funkcjami logarytmu . Jedyna operacyjna różnica między logarytmami o różnych podstawach polega na tym, że różne stałe skalowania, więc możemy założyć

{\ Displaystyle \ log _ {b} (x)}

{\ Displaystyle f (x) = K \ log (x)}

gdzie jest logarytm naturalny . Ponieważ prawdopodobieństwa zdarzeń są zawsze od 0 do 1, a informacje związane z tymi zdarzeniami muszą być nieujemne, wymaga to . $\log$ ${\ Displaystyle K<0}$

Biorąc pod uwagę te właściwości, samoinformację związaną z wynikiem z prawdopodobieństwem definiuje się jako: ${\ Displaystyle \ operatorname {I} (\ omega _ {n})}$ ${\ Displaystyle \ omega _ {n}}$ ${\ Displaystyle \ operatorname {P} (\ omega _ {n})}$

{\ Displaystyle \ operatorname {I} (\ omega _ {n}) = - \ log (\ operatorname {P} (\ omega _ {n})) = \ log \ lewo ({\ Frac {1} {\ operatorname {P} (\omega _{n})}}\prawda)}

Im mniejsze prawdopodobieństwo zdarzenia , tym większa ilość autoinformacji związanych z komunikatem, że zdarzenie rzeczywiście miało miejsce. Jeśli powyższy logarytm ma podstawę 2, jednostką są bity . To jest najczęstsza praktyka. Używając logarytmu naturalnego podstawy , jednostką będzie nat . Dla logarytmu o podstawie 10 jednostką informacji jest hartley . ${\ Displaystyle \ omega _ {n}}$ ${\ Displaystyle I (\ omega _ {n})}$ $e$

Dla szybkiej ilustracji, zawartość informacyjna związana z wynikiem 4 orłów (lub dowolnym konkretnym wynikiem) w 4 kolejnych rzutach monetą to 4 bity (prawdopodobieństwo 1/16), a zawartość informacyjna związana z uzyskaniem wyniku innego niż określony będzie ~0,09 bita (prawdopodobieństwo 15/16). Zobacz powyżej szczegółowe przykłady.

Zobacz też

Bibliografia

Dalsza lektura

CE Shannon , Matematyczna teoria komunikacji , Bell Systems Technical Journal , tom. 27, s. 379-423, (część I), 1948.

Languages

In other projects