Ograniczenie gęstości dyskretnych punktów - Limiting density of discrete points

Teoria informacji
Entropia Entropia różniczkowa Entropia warunkowa Wspólna entropia Wzajemne informacje Warunkowe informacje wzajemne Względna entropia Współczynnik entropii Ograniczenie gęstości dyskretnych punktów
Asymptotyczna własność ekwipartycji Teoria zniekształceń prędkości
Twierdzenie Shannona o kodowaniu źródłowym Pojemność kanału Twierdzenie o kodowaniu kanałów z szumami Twierdzenie Shannona – Hartleya
v t mi

W teorii informacji The ograniczenie gęstości dyskretnych punktów jest dostosowanie do wzoru Claude Shannon do różnicy entropii .

Został on sformułowany przez Edwina Thompsona Jaynesa, aby zająć się defektami w początkowej definicji entropii różnicowej.

Definicja

Shannon pierwotnie zapisał następujący wzór na entropię rozkładu ciągłego, znaną jako entropia różniczkowa :

${\ Displaystyle h (X) = - \ int p (x) \ log p (x) \, dx.}$

W przeciwieństwie do wzoru Shannona na dyskretną entropię, nie jest to jednak wynik żadnego wyprowadzenia (Shannon po prostu zastąpił symbol sumowania w wersji dyskretnej całką), ale brakuje wielu właściwości, które czynią dyskretną entropię użyteczną miarą niepewność. W szczególności nie jest niezmienna przy zmianie zmiennych i może stać się ujemna. Ponadto nie jest nawet poprawny wymiarowo. Ponieważ byłby bezwymiarowy, musi mieć jednostki , co oznacza, że ​​argument do logarytmu nie jest bezwymiarowy zgodnie z wymaganiami. ${\ Displaystyle P (x)}$${\ Displaystyle p (x)}$${\ displaystyle {\ frac {1} {dx}}}$

Jaynes argumentował, że wzór na ciągłą entropię należy wyprowadzić, przyjmując granicę coraz gęstszych rozkładów dyskretnych. Załóżmy, że mamy taki zbiór punktów dyskretnych , że w granicy ich gęstość zbliża się do funkcji zwanej „miarą niezmienną”. ${\ displaystyle N}$${\ displaystyle \ {x_ {i} \}}$${\ Displaystyle N \ do \ infty}$${\ Displaystyle m (x)}$

${\ Displaystyle \ lim _ {N \ do \ infty} {\ Frac {1} {N}} \, ({\ mbox {liczba punktów w}} a <x <b) = \ int _ {a} ^ {b} m (x) \, dx}$

Jaynes wyprowadził z tego następujący wzór na ciągłą entropię, który, jak argumentował, powinien być przyjęty jako poprawny wzór:

${\ Displaystyle \ lim _ {N \ rightarrow \ infty} H_ {N} (X) = \ log (N) - \ int p (x) \ log {\ Frac {p (x)} {m (x)} } \, dx.}$

Zwykle, gdy to jest napisane, termin jest pomijany, ponieważ zazwyczaj nie byłby skończony. A więc rzeczywista powszechna definicja to ${\ Displaystyle \ log (N)}$

${\ Displaystyle H (X) = - \ int p (x) \ log {\ Frac {p (x)} {m (x)}} \, dx.}$

Tam, gdzie nie jest jasne, czy termin powinien zostać pominięty, czy nie , można napisać ${\ Displaystyle \ log (N)}$

${\ Displaystyle H_ {N} (X) \ sim \ log (N) + H (X)}$

Zauważ, że we wzorze Jaynesa jest gęstość prawdopodobieństwa. Dla każdego skończonego, który jest jednorodną gęstością w kwantyzacji ciągłej przestrzeni, która jest używana w sumie Riemanna. W granicach znajduje się ciągła graniczna gęstość punktów w kwantyzacji używanych do reprezentowania zmiennej ciągłej . ${\ Displaystyle m (x)}$${\ displaystyle N}$${\ Displaystyle m (x)}$${\ Displaystyle m (x)}$${\ displaystyle x}$

Załóżmy, że jeden z nich miał format liczbowy, który przyjmował możliwe wartości, rozłożone zgodnie z . Wtedy (jeśli jest na tyle duża, że ​​ciągłe przybliżenie jest poprawne) jest dyskretną entropią zmiennej w tym kodowaniu. Jest to równe średniej liczbie bitów wymaganych do przesłania tych informacji i nie przekracza . Dlatego można ją traktować jako ilość informacji uzyskanych dzięki wiedzy, że zmienna podąża za rozkładem i nie jest równomiernie rozłożona na możliwe skwantowane wartości, jak miałoby to miejsce, gdyby następowała . jest w rzeczywistości (ujemną) dywergencją Kullbacka-Leiblera od do , która jest uważana za informację uzyskaną poprzez poznanie, że zmienna, która wcześniej uważana była za rozłożoną, tak jak jest faktycznie rozprowadzana jako . ${\ displaystyle N}$${\ Displaystyle m (x)}$${\ displaystyle H_ {N} (X)}$${\ displaystyle N}$${\ displaystyle x}$${\ Displaystyle \ log (N)}$${\ displaystyle H (X)}$${\ displaystyle x}$${\ Displaystyle p (x)}$${\ Displaystyle m (x)}$${\ displaystyle H (X)}$${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$

Entropia ciągły wzór Jaynesa ma taką właściwość, że niezmienna przy zmianie zmiennych, pod warunkiem, że i są przetwarzane w podobny sposób. (To motywuje nazwę „niezmienną miarą” dla m .) To rozwiązuje wiele trudności, które wynikają z zastosowania wzoru ciągłej entropii Shannona. Sam Jaynes zrezygnował z tego terminu, ponieważ nie był on istotny dla jego pracy (maksymalne rozkłady entropii) i jest nieco niewygodne, aby mieć nieskończony termin w obliczeniach. Niestety, nie można temu zaradzić, jeśli kwantyzacja jest dowolnie precyzyjna, jak miałoby to miejsce w przypadku ciągłego limitu. Zauważ, że zgodnie z definicją w tym miejscu (bez terminu) zawsze byłaby niedodatnia, ponieważ dywergencja KL byłaby zawsze nieujemna. ${\ Displaystyle m (x)}$${\ Displaystyle p (x)}$${\ Displaystyle \ log (N)}$${\ displaystyle H (X)}$${\ Displaystyle \ log (N)}$

Jeśli jest to przypadek, który jest stały w pewnym przedziale wielkości i zasadniczo wynosi zero poza tym przedziałem, to graniczna gęstość punktów dyskretnych (LDDP) jest ściśle związana z entropią różnicową ${\ Displaystyle m (x)}$${\ displaystyle r}$${\ Displaystyle p (x)}$${\ Displaystyle h (X)}$

${\ Displaystyle H_ {N} (X) \ około \ log (N) - \ log (r) + h (X)}$

Bibliografia

Dalsza lektura

• Jaynes, ET (2003). Teoria prawdopodobieństwa: logika nauki . Cambridge University Press. ISBN   978-0521592710 .