Entropia Rényiego - Rényi entropy

W teorii informacji , entropia Renyi uogólnia entropię Hartley , The entropii Shannona , na entropię kolizji i min-entropii . Entropie określają ilościowo różnorodność, niepewność lub losowość systemu. Entropia nosi imię Alfreda Rényi . W kontekście estymacji wymiaru fraktalnego entropia Rényi stanowi podstawę koncepcji wymiarów uogólnionych .

Entropia Rényi jest ważna w ekologii i statystyce jako wskaźnik różnorodności . Entropia Rényiego jest również ważna w informacji kwantowej , gdzie może być użyta jako miara splątania . W modelu łańcucha spinowego Heisenberga XY entropia Rényiego w funkcji α może być obliczona jawnie, ponieważ jest to funkcja automorficzna względem określonej podgrupy grupy modułowej . W informatyce teoretycznej min-entropia jest używana w kontekście ekstraktorów losowości .

Definicja

Entropia Rényi porządku , gdzie i , jest zdefiniowana jako ${\ Displaystyle \ alfa}$${\ Displaystyle \ alfa \ geq 0}$${\ Displaystyle \ alfa \ neq 1}$

${\ Displaystyle \ operatorname {H} _ {\ alfa} (X) = {\ Frac {1} {1-\ alfa}} \ log {\ Bigg (} \ suma _ {i = 1} ^ {n} p_ {i}^{\alfa }{\Bigg )}}$ .

Tutaj jest dyskretną zmienną losową z możliwych wyników w zestawie i odpowiednich prawdopodobieństw dla . Logarytm zwyczajowo przyjmuje się za podstawę 2, w szczególności w ramach teorii informacji , gdzie bity substancje. Jeżeli prawdopodobieństwa są dla wszystkich , to wszystkie entropie Rényiego rozkładu są równe: . Ogólnie rzecz biorąc, dla wszystkich dyskretnych zmiennych losowych , jest funkcją nierosnącą w . ${\ Displaystyle X}$${\ Displaystyle {\ mathcal {A}} = \ {x_ {1}, x_ {2}, ..., x_ {n} \}}$${\ Displaystyle p_ {i} \ doteq \ Pr (X = x_ {i})}$${\displaystyle i=1,\kropki,n}$${\displaystyle p_{i}=1/n}$${\displaystyle i=1,\kropki,n}$${\ Displaystyle \ operatorname {H} _ {\ alfa} (X) = \ log n}$${\ Displaystyle X}$${\ Displaystyle \ operatorname {H} _ {\ alfa} (X)}$${\ Displaystyle \ alfa}$

Aplikacje często wykorzystują następującą zależność między entropią Rényiego a p -normą wektora prawdopodobieństw:

${\ Displaystyle \ operatorname {H} _ {\ alfa} (X) = {\ Frac {\ alfa} {1-\ alfa}} \ log \ lewo (\ | P \ | _ {\ alfa} \ prawej)}$ .

Tutaj dyskretny rozkład prawdopodobieństwa jest interpretowany jako wektor w with i . ${\ Displaystyle P = (p_ {1}, \ kropki, p_ {n})}$${\ Displaystyle \ mathbb {R} ^ {n}}$${\displaystyle p_{i}\geq 0}$${\ Displaystyle \ suma _ {i = 1} ^ {n} p_ {i} = 1}$

Entropią Rényi dla każdego jest wklęsłość Schura . ${\ Displaystyle \ alfa \ geq 0}$

Przypadki specjalne

Entropia Rényi zmiennej losowej z dwoma możliwymi wynikami wobec p ₁ , gdzie P = ( p ₁ , 1 − p ₁ ) . Pokazano H ₀ , H ₁ , H ₂ i H _∞ , w jednostkach shannonów .

Gdy α zbliża się do zera, entropia Rényi coraz bardziej waży wszystkie zdarzenia z niezerowym prawdopodobieństwem bardziej równomiernie, niezależnie od ich prawdopodobieństw. W granicy dla α → 0, entropia Rényiego jest tylko logarytmem wielkości podpory X . Granicą dla α → 1 jest entropia Shannona . Gdy α zbliża się do nieskończoności, entropia Rényi jest coraz bardziej determinowana przez zdarzenia o najwyższym prawdopodobieństwie.

Hartley lub maksymalna entropia

Pod warunkiem, że prawdopodobieństwa są niezerowe, to logarytm liczności alfabetu ( ) stanowi , czasami nazywany entropii Hartley z , ${\ Displaystyle \ operatorname {H} _{0}}$${\ Displaystyle {\ Mathcal {A}}}$${\ Displaystyle X}$${\ Displaystyle X}$

${\ Displaystyle \ operatorname {H} _ {0} (X) = \ log n = \ log | {\ mathcal {A}} | \,}$

Entropia Shannona

Wartość graniczna as α → 1 to entropia Shannona : ${\ Displaystyle \ operatorname {H} _ {\ alfa}}$

${\ Displaystyle \ operatorname {H} _ {1} (X) \ równoważny \ lim _ {\ alfa \ do 1} \ operatorname {H} _ {\ alfa} (X) = - \ suma _ {i = 1} ^{n}p_{i}\log p_{i}}$

Entropia kolizji

Entropia kolizyjna , czasami nazywana po prostu „entropią Rényi”, odnosi się do przypadku α = 2,

${\ Displaystyle \ operatorname {H} _ {2} (X) = - \ log \ suma _ {i = 1} ^ {n} p_ {i} ^ {2} = - \ log P (X = Y), }$

gdzie X i Y są niezależne i identycznie rozłożone . Entropia kolizji jest powiązana ze wskaźnikiem koincydencji .

Min-entropia

W granicy jako , entropia Rényi zbiega się z min-entropią : ${\ Displaystyle \ alfa \ rightarrow \ infty}$${\ Displaystyle \ operatorname {H} _ {\ alfa}}$ ${\ Displaystyle \ operatorname {H} _ {\ infty}}$

${\ Displaystyle \ operatorname {H} _ {\ infty} (X) \ doteq \ min _ {i} (- \ log p_ {i}) = - (\ max _ {i} \ log p_ {i}) = -\log \max _{i}p_{i}\,.}$

Równoważnie min-entropia jest największą liczbą rzeczywistą b taką, że wszystkie zdarzenia zachodzą z prawdopodobieństwem co najwyżej . ${\ Displaystyle \ operatorname {H} _ {\ infty} (X)}$${\ Displaystyle 2 ^ {-b}}$

Nazwa min-entropia wynika z faktu, że jest to najmniejsza miara entropii w rodzinie entropii Rényiego. W tym sensie jest to najmocniejszy sposób pomiaru zawartości informacyjnej dyskretnej zmiennej losowej. W szczególności min-entropia nigdy nie jest większa niż entropia Shannona .

Min-entropia ma ważne zastosowania dla ekstraktorów losowości w informatyce teoretycznej : ekstraktory są w stanie wyodrębnić losowość ze źródeł losowych, które mają dużą min-entropię; samo posiadanie dużej entropii Shannona nie wystarcza do tego zadania.

Nierówności między różnymi wartościami α

To nie wzrasta dla dowolnego rozkładu prawdopodobieństw , co można udowodnić przez zróżnicowanie, jako ${\ Displaystyle \ operatorname {H} _ {\ alfa}}$${\ Displaystyle \ alfa}$${\displaystyle p_{i}}$

${\ Displaystyle - {\ Frac {d \ operatorname {H} _ {\ alfa}} {d \ alfa}} = {\ Frac {1} {(1-\ alfa) ^ {2}}} \ suma _ { i=1}^{n}z_{i}\log(z_{i}/p_{i}),}$

która jest proporcjonalna do dywergencji Kullbacka-Leiblera (która jest zawsze nieujemna), gdzie . ${\ Displaystyle Z_ {i} = p_ {i} ^ {\ alfa} / \ suma _ {j = 1} ^ {n} p_ {j} ^ {\ alfa}}$

W szczególnych przypadkach nierówności można wykazać również za pomocą nierówności Jensena :

${\ Displaystyle \ log n = \ operatorname {H} _ {0} \ geq \ operatorname {H} _ {1} \ geq \ operatorname {H} _ {2} \ geq \ operatorname {H} _ {\ infty} .}$

W przypadku wartości , występują również nierówności w drugą stronę. W szczególności mamy ${\ Displaystyle \ alfa > 1}$

${\ Displaystyle \ operatorname {H} _ {2} \ równa 2 \ operatorname {H} _ {\ infty}.}$

Z drugiej strony entropia Shannona może być dowolnie wysoka dla zmiennej losowej, która ma daną min-entropię. ${\ Displaystyle \ operatorname {H} _ {1}}$${\ Displaystyle X}$

Rozbieżność Rényiego

Oprócz absolutnych entropii Rényiego, Rényi zdefiniował również spektrum miar rozbieżności uogólniających rozbieżność Kullbacka-Leiblera .

Renyi rozbieżność kolejnością alfa lub alfa-rozbieżności o dystrybucji P z rozkładu Q określa się jako

${\ Displaystyle D_ {\ alfa} (P \ | Q) = {\ Frac {1} {\ alfa -1}} \ log {\ Bigg (} \ suma _ {i = 1} ^ {n} {\ Frac {p_{i}^{\alpha }}{q_{i}^{\alpha -1}}}{\Bigg )}\,}$

gdy 0 < α < ∞ i α ≠ 1 . Możemy zdefiniować dywergencję Rényi dla wartości specjalnych α = 0, 1, ∞ przyjmując granicę, aw szczególności granicę α → 1 daje dywergencję Kullbacka-Leiblera.

Niektóre szczególne przypadki:

${\ Displaystyle D_ {0} (P \ | Q) = - \ log Q (\ {i: p_ {i}> 0 \})}$ : minus prawdopodobieństwo logarytmu pod Q, że p _i > 0 ;

${\ Displaystyle D_ {1/2} (P \ | Q) = -2 \ log \ suma _ {i = 1} ^ {n} {\ sqrt {p_ {i} Q_ {i}}}}$ : minus dwukrotność logarytmu współczynnika Bhattacharyyi ; ( Nielsen i Boltz (2010) )

${\ Displaystyle D_ {1} (P \ | Q) = \ suma _ {i = 1} ^ {n} p_ {i} \ log {\ Frac {p_ {i}} {q_ {i}}}}$ : dywergencja Kullbacka–Leiblera ;

${\ Displaystyle D_ {2} (P \ | Q) = \ log {\ Big \ langle} {\ Frac {p_ {i}} {q_ {i}}} {\ Big \ rangle}}$ : logarytm oczekiwanego stosunku prawdopodobieństw;

${\ Displaystyle D_ {\ infty} (P \ | Q) = \ log \ sup _ {i} {\ Frac {p_ {i}} {q_ {i}}}}$ : logarytm maksymalnego stosunku prawdopodobieństw.

Rozbieżność Rényiego jest rzeczywiście rozbieżnością , co oznacza po prostu, że jest większa lub równa zero, a zero tylko wtedy, gdy P = Q . Dla dowolnych stałych rozkładów P i Q dywergencja Rényiego nie maleje w funkcji jej rzędu α i jest ciągła na zbiorze α, dla którego jest skończona. ${\ Displaystyle D_ {\ alfa} (P \ | Q)}$

Interpretacje finansowe

Para rozkładów prawdopodobieństwa może być postrzegana jako gra losowa, w której jeden z rozkładów definiuje oficjalne kursy, a drugi zawiera rzeczywiste prawdopodobieństwa. Znajomość rzeczywistych prawdopodobieństw pozwala graczowi czerpać zyski z gry. Oczekiwana stopa zysku jest powiązana z rozbieżnością Rényiego w następujący sposób

${\ Displaystyle {\ rm {Oczekiwana stawka}} = {\ Frac {1} {R}} \ D_ {1} (b \ | m) + {\ Frac {R-1} {R}} \ D_ { 1/R}(b\|m)\,,}$

gdzie jest rozkład określający oficjalne kursy (tj. „rynek”) dla gry, jest rozkładem według inwestorów i jest awersją inwestora do ryzyka (względna awersja do ryzyka Arrowa-Pratta). ${\ Displaystyle m}$${\displaystyle b}$${\ Displaystyle R}$

Jeśli prawdziwy rozkład jest (niekoniecznie zbieżny z przekonaniem inwestora ), długoterminowa realizowana stopa jest zbieżna z prawdziwym oczekiwaniem, które ma podobną strukturę matematyczną ${\displaystyle p}$${\displaystyle b}$

${\ Displaystyle {\ Rm {RealizedRate}} = {\ Frac {1} {R}} \ {\ Duży (} D_ {1} (p \ | m)-D_ {1} (p \ | b) { \Big )}+{\frac {R-1}{R}}\,D_{1/R}(b\|m)\,.}$

Dlaczego α = 1 jest wyjątkowe

Wartość α = 1 , co daje entropii Shannona i rozbieżności Kullback-Leiblera , jest wyjątkowy, ponieważ jest to tylko przy α = 1 , że zasada łańcuch prawdopodobieństwa warunkowego posiada dokładnie:

${\ Displaystyle \ operatorname {H} (A, X) = \ operatorname {H} (A) + \ mathbb {E} _ {a \ SIM A} {\ duży [} \ operatorname {H} (X | A = duży ]}}$

dla entropii absolutnych i

${\ Displaystyle D_ {\ operatorname {KL}} (p (x | a) p (a) \ | m (x, a)) = D_ {\ operatorname {KL}} (p (a) \ | m (a) ))+\mathbb {E} _{p(a)}\{D_{\mathrm {KL} }(p(x|a)\|m(x|a))\},}$

dla względnych entropii.

To ostatnie w szczególności oznacza , że jeśli szukamy rozkładu p ( x , a ) , który minimalizuje rozbieżność od pewnej podstawowej miary wcześniejszej m ( x , a ) i uzyskujemy nowe informacje , które wpływają tylko na rozkład a , to rozkład p ( x | a ) pozostaje m ( x | a ) , niezmienione.

Pozostałe rozbieżności Rényiego spełniają kryteria bycia pozytywnymi i ciągłymi; bycie niezmiennym przy przekształceniach współrzędnych 1 do 1; i addytywnego łączenia, gdy A i X są niezależne, tak że jeśli p ( A , X ) = p ( A ) p ( X ) , to

${\ Displaystyle \ operatorname {H} _ {\ alfa} (A, X) = \ operatorname {H} _ {\ alfa} (A) + \ operatorname {H} _ {\ alfa} (X) \;}$

oraz

${\ Displaystyle D_ {\ alfa} (P (A) P (X) \ | Q (A) Q (X)) = D_ {\ alfa} (P (A) \ | Q (A)) + D_ {\ alfa }(P(X)\|Q(X)).}$

Silniejsze własności wielkości α = 1 , które pozwalają na definicję informacji warunkowej i informacji wzajemnej z teorii komunikacji, mogą być bardzo ważne w innych aplikacjach lub zupełnie nieistotne, w zależności od wymagań tych aplikacji.

Rodziny wykładnicze

Entropie i rozbieżności Rényiego dla rodziny wykładniczej dopuszczają proste wyrażenia

${\ Displaystyle \ operatorname {H} _ {\ alfa} (p_ {F} (x; \ theta)) = {\ Frac {1} {1-\ alfa}} \ lewo (F (\ alfa \ theta) - \alpha F(\theta )+\log E_{p}[e^{(\alpha -1)k(x)}]\right)}$

oraz

${\ Displaystyle D_ {\ alfa} (p: q) = {\ Frac {J_ {F, \ alfa} (\ theta: \ theta ') {1-\ alfa}}}$

gdzie

${\ Displaystyle J_ {F \ alfa} (\ theta : \ theta ') = \ alfa F (\ theta ) + (1-\ alfa ) F (\ theta ') - F (\ alfa \ theta + (1- \alfa )\theta ')}$

jest rozbieżnością różnicy Jensen.

Fizyczne znaczenie

Entropia Rényiego w fizyce kwantowej nie jest uważana za obserwowalną ze względu na jej nieliniową zależność od macierzy gęstości. (Ta nieliniowa zależność ma zastosowanie nawet w szczególnym przypadku entropii Shannona.) Można jednak nadać jej znaczenie operacyjne poprzez dwukrotne pomiary (znane również jako statystyka pełnego zliczania) transferów energii.

Granica entropii Renyi jak jest entropia von Neumanna . ${\ Displaystyle \ alfa \ do 1}$

Zobacz też

• Wskaźniki różnorodności
• Entropia Tsallisa
• Uogólniony wskaźnik entropii

Uwagi

Bibliografia