Entropia różniczkowa - Differential entropy

Entropia różnica (nazywane także ciągłym entropii ) jest pojęciem w teorii informacji , która rozpoczęła się jako próbę przez Shannon rozszerzenia idei (Shannon) entropii , miara przeciętnego nieuwagę o zmiennej losowej , do ciągłych rozkładów prawdopodobieństwa . Niestety, Shannon nie wyprowadził tego wzoru, a raczej po prostu założył, że jest to poprawny ciągły analog dyskretnej entropii, ale tak nie jest. Rzeczywistą ciągłą wersją dyskretnej entropii jest graniczna gęstość punktów dyskretnych (LDDP). Entropia różniczkowa (opisana tutaj) jest powszechnie spotykana w literaturze, ale jest to przypadek ograniczający LDDP i taki, który traci swoje fundamentalne powiązanie z entropią dyskretną .

Definicja

Niech będzie zmienną losową z funkcją gęstości prawdopodobieństwa, której wsparcie jest zbiorem . Entropia różnica lub jest zdefiniowany jako ${\ displaystyle X}$ ${\ displaystyle f}$ ${\ displaystyle {\ mathcal {X}}}$ ${\ Displaystyle h (X)}$ ${\ displaystyle h (f)}$

${\ Displaystyle h (X) = - \ int _ {\ mathcal {X}} f (x) \ log f (x) \, dx}$

W przypadku rozkładów prawdopodobieństwa, które nie mają wyraźnego wyrażenia funkcji gęstości, ale mają wyraźne wyrażenie funkcji kwantylowej , można je zdefiniować za pomocą pochodnej np. Funkcji gęstości kwantylowej jako ${\ Displaystyle Q (p)}$ ${\ displaystyle h (Q)}$ ${\ Displaystyle Q (p)}$ ${\ Displaystyle Q '(p)}$

{\ Displaystyle h (Q) = \ int _ {0} ^ {1} \ log Q '(p) \, dp}

.

Podobnie jak w przypadku jego dyskretnego analogu, jednostki entropii różniczkowej zależą od podstawy logarytmu , która zwykle wynosi 2 (tj. Jednostkami są bity ). Zobacz jednostki logarytmiczne dla logarytmów z różnych podstaw. Pojęcia pokrewne, takie jak łączenie , warunkowa entropia różniczkowa i względna entropia, są definiowane w podobny sposób. W przeciwieństwie do dyskretnego analogu, entropia różnicowa ma przesunięcie, które zależy od jednostek użytych do pomiaru . Na przykład, entropia różnicowa wielkości mierzonej w milimetrach będzie o log (1000) większa niż ta sama wielkość mierzona w metrach; wielkość bezwymiarowa będzie miała entropię różnicową log (1000) większą niż ta sama wielkość podzielona przez 1000. ${\ displaystyle X}$

Należy zachować ostrożność próbując zastosować właściwości entropii dyskretnej do entropii różniczkowej, ponieważ funkcje gęstości prawdopodobieństwa mogą być większe niż 1. Na przykład rozkład jednorodny ma ujemną entropię różniczkową ${\ Displaystyle {\ mathcal {U}} (0,1 / 2)}$

{\ Displaystyle \ int _ {0} ^ {\ Frac {1} {2}} - 2 \ log (2) \, dx = - \ log (2) \,}

.

Zatem entropia różniczkowa nie ma wspólnych właściwości entropii dyskretnej.

Należy zauważyć, że ciągła wzajemna informacja ma rozróżnienie zachowując jego podstawowe znaczenie jako miara dyskretnej informacji, ponieważ jest rzeczywiście limit dyskretnego wzajemnej informacji o partycjach z i jak te partycje stają się cieńsze i delikatniejsze. Tak więc jest niezmienna w nieliniowych homeomorfizmach (ciągłe i wyjątkowo odwracalne mapy), w tym liniowe transformacje i , i nadal reprezentuje ilość dyskretnej informacji, która może być przesłana przez kanał, który dopuszcza ciągłą przestrzeń wartości. ${\ Displaystyle I (X; Y)}$ ${\ displaystyle X}$ ${\ displaystyle Y}$ ${\ displaystyle X}$ ${\ displaystyle Y}$

Dla bezpośredniego analogu dyskretnej entropii rozciągniętej na ciągłą przestrzeń, zobacz ograniczanie gęstości dyskretnych punktów .

Własności entropii różniczkowej

Dla gęstości prawdopodobieństwa i , dywergencja Kullbacka-Leiblera jest większa lub równa 0 z równością tylko wtedy, gdy prawie wszędzie . Podobnie dla dwóch zmiennych losowych i , iz równością wtedy i tylko wtedy, gdy i są niezależne . ${\ displaystyle f}$ ${\ displaystyle g}$ ${\ Displaystyle D_ {KL} (f || g)}$ ${\ displaystyle f = g}$ ${\ displaystyle X}$ ${\ displaystyle Y}$ ${\ Displaystyle I (X; Y) \ geq 0}$ ${\ Displaystyle h (X | Y) \ równoważnik h (X)}$ ${\ displaystyle X}$ ${\ displaystyle Y}$
Reguła łańcuchowa dla entropii różniczkowej obowiązuje jak w przypadku dyskretnym

{\ Displaystyle h (X_ {1}, \ ldots, X_ {n}) = \ suma _ {i = 1} ^ {n} h (X_ {i} | X_ {1}, \ ldots, X_ {i- 1}) \ leq \ sum _ {i = 1} ^ {n} h (X_ {i})}

.

Entropia różniczkowa jest niezmiennikiem translacji, tj. Dla stałej . ${\ displaystyle c}$

{\ Displaystyle h (X + c) = h (X)}

Entropia różniczkowa na ogół nie jest niezmienna w przypadku dowolnych odwracalnych map.

W szczególności dla stałej

{\ displaystyle a}

{\ Displaystyle h (aX) = h (X) + \ log | a |}

Dla zmiennej losowej o wartości wektorowej i macierzy odwracalnej (kwadratowej)

{\ displaystyle \ mathbf {X}}

{\ displaystyle \ mathbf {A}}

{\ Displaystyle h (\ mathbf {A} \ mathbf {X}) = h (\ mathbf {X}) + \ log \ lewo (| \ det \ mathbf {A} | \ prawej)}

Ogólnie, w przypadku transformacji z losowego wektora do innego losowego wektora o tych samych wymiarach , odpowiednie entropie są powiązane przez ${\ Displaystyle \ mathbf {Y} = m \ lewo (\ mathbf {X} \ prawo)}$

{\ Displaystyle h (\ mathbf {Y}) \ równoważnik h (\ mathbf {X}) + \ int f (x) \ log \ lewo \ vert {\ Frac {\ częściowe m} {\ częściowe x}} \ w prawo \ vert dx}

gdzie jest jakobianin przemiany . Powyższa nierówność staje się równością, jeśli transformacja jest bijekcją. Ponadto, gdy występuje sztywny obrót, translacja lub ich kombinacja, determinantą Jakobianu jest zawsze 1, i .

{\ Displaystyle \ lewo \ vert {\ Frac {\ częściowe m} {\ częściowe x}} \ prawo \ vert}

{\ displaystyle m}

{\ displaystyle m}

{\ Displaystyle h (Y) = h (X)}

Jeśli wektor losowy ma średnie zero i macierz kowariancji , z równością wtedy i tylko wtedy, gdy jest łącznie gaussowska (patrz poniżej ). ${\ Displaystyle X \ in \ mathbb {R} ^ {n}}$ ${\ displaystyle K}$ ${\ Displaystyle h (\ mathbf {X}) \ równoważnik {\ Frac {1} {2}} \ log (\ det {2 \ pi eK}) = {\ Frac {1} {2}} \ log [( 2 \ pi e) ^ {n} \ det {K}]}$ ${\ displaystyle X}$

Jednak entropia różnicowa nie ma innych pożądanych właściwości:

Nie jest niezmienna przy zmianie zmiennych i dlatego jest najbardziej przydatna w przypadku zmiennych bezwymiarowych.
To może być negatywne.

Modyfikacją entropii różniczkowej, która rozwiązuje te wady, jest względna entropia informacyjna , znana również jako dywergencja Kullbacka-Leiblera, która obejmuje niezmienny współczynnik miary (patrz ograniczanie gęstości punktów dyskretnych ).

Maksymalizacja w rozkładzie normalnym

Twierdzenie

Przy rozkładzie normalnym entropia różniczkowa jest zmaksymalizowana dla danej wariancji. Zmienna losowa Gaussa ma największą entropię spośród wszystkich zmiennych losowych o równej wariancji lub, alternatywnie, maksymalny rozkład entropii przy ograniczeniach średniej i wariancji jest Gaussa.

Dowód

Niech będzie Gaussowskim plikiem PDF ze średnią μ i wariancją oraz dowolnym plikiem PDF z tą samą wariancją. Ponieważ entropia różniczkowa jest niezmienna translacji, możemy założyć, że ma taką samą średnią as . ${\ Displaystyle g (x)}$ ${\ displaystyle \ sigma ^ {2}}$ ${\ displaystyle f (x)}$ ${\ displaystyle f (x)}$ ${\ displaystyle \ mu}$ ${\ Displaystyle g (x)}$

Rozważmy dywergencję Kullbacka-Leiblera między dwoma rozkładami

{\ Displaystyle 0 \ równoważnik D_ {KL} (f || g) = \ int _ {- \ infty} ^ {\ infty} f (x) \ log \ lewo ({\ Frac {f (x)} {g (x)}} \ right) dx = -h (f) - \ int _ {- \ infty} ^ {\ infty} f (x) \ log (g (x)) dx.}

Teraz zauważ to

{\ Displaystyle {\ rozpocząć {wyrównane} \ int _ {- \ infty} ^ {\ infty} f (x) \ log (g (x)) dx & = \ int _ {- \ infty} ^ {\ infty} f (x) \ log \ left ({\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} e ^ {- {\ frac {(x- \ mu) ^ {2}} { 2 \ sigma ^ {2}}}} \ right) dx \\ & = \ int _ {- \ infty} ^ {\ infty} f (x) \ log {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} dx \, + \, \ log (e) \ int _ {- \ infty} ^ {\ infty} f (x) \ left (- {\ frac {(x- \ mu ) ^ {2}} {2 \ sigma ^ {2}}} \ right) dx \\ & = - {\ tfrac {1} {2}} \ log (2 \ pi \ sigma ^ {2}) - \ log (e) {\ frac {\ sigma ^ {2}} {2 \ sigma ^ {2}}} \\ & = - {\ tfrac {1} {2}} \ left (\ log (2 \ pi \ sigma ^ {2}) + \ log (e) \ right) \\ & = - {\ tfrac {1} {2}} \ log (2 \ pi e \ sigma ^ {2}) \\ & = - h (g) \ end {aligned}}}

ponieważ wynik nie zależy od czegoś innego niż przez wariancję. Połączenie tych dwóch wyników daje ${\ displaystyle f (x)}$

{\ Displaystyle h (g) -h (f) \ geq 0 \!}

z równością, gdy wynika z właściwości dywergencji Kullbacka – Leiblera. ${\ Displaystyle f (x) = g (x)}$

Alternatywny dowód

Wynik ten można również wykazać za pomocą rachunku wariacyjnego . Funkcję Lagrange'a z dwoma mnożnikami Lagrange'a można zdefiniować jako:

{\ Displaystyle L = \ int _ {- \ infty} ^ {\ infty} g (x) \ ln (g (x)) \, dx- \ lambda _ {0} \ lewo (1- \ int _ {- \ infty} ^ {\ infty} g (x) \, dx \ right) - \ lambda \ left (\ sigma ^ {2} - \ int _ {- \ infty} ^ {\ infty} g (x) (x - \ mu) ^ {2} \, dx \ right)}

gdzie g (x) jest jakąś funkcją o średniej μ. Kiedy entropia g (x) jest maksymalna i równania ograniczające, które składają się z warunku normalizacji i wymogu stałej wariancji , są spełnione, wówczas niewielka zmiana δ g ( x ) około g (x) da zmienność δ L wokół L, która jest równa zeru: ${\ Displaystyle \ lewo (1 = \ int _ {- \ infty} ^ {\ infty} g (x) \, dx \ prawej)}$ ${\ Displaystyle \ lewo (\ sigma ^ {2} = \ int _ {- \ infty} ^ {\ infty} g (x) (x- \ mu) ^ {2} \, dx \ prawej)}$

{\ Displaystyle 0 = \ delta L = \ int _ {- \ infty} ^ {\ infty} \ delta g (x) \ lewo (\ ln (g (x)) + 1+ \ lambda _ {0} + \ lambda (x- \ mu) ^ {2} \ right) \, dx}

Ponieważ musi to obowiązywać dla każdego małego δ g ( x ), termin w nawiasach musi wynosić zero, a rozwiązanie dla g (x) daje:

{\ Displaystyle g (x) = e ^ {- \ lambda _ {0} -1- \ lambda (x- \ mu) ^ {2}}}

Użycie równań więzów do rozwiązania dla λ ₀ i λ daje rozkład normalny:

{\ Displaystyle g (x) = {\ Frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} e ^ {- {\ Frac {(x- \ mu) ^ {2}} { 2 \ sigma ^ {2}}}}}

Przykład: rozkład wykładniczy

Niech będzie zmienną losową o rozkładzie wykładniczym z parametrem , to znaczy z funkcją gęstości prawdopodobieństwa ${\ displaystyle X}$ ${\ displaystyle \ lambda}$

{\ displaystyle f (x) = \ lambda e ^ {- \ lambda x} {\ mbox {for}} x \ geq 0.}

Jego entropia różniczkowa jest wtedy

${\ Displaystyle h_ {e} (X) \,}$	${\ Displaystyle = - \ int _ {0} ^ {\ infty} \ lambda e ^ {- \ lambda x} \ log (\ lambda e ^ {- \ lambda x}) \, dx}$
	${\ Displaystyle = - \ lewo (\ int _ {0} ^ {\ infty} (\ log \ lambda) \ lambda e ^ {- \ lambda x} \, dx + \ int _ {0} ^ {\ infty} ( - \ lambda x) \ lambda e ^ {- \ lambda x} \, dx \ right)}$
	${\ Displaystyle = - \ log \ lambda \ int _ {0} ^ {\ infty} f (x) \, dx + \ lambda E [X]}$
	${\ displaystyle = - \ log \ lambda +1 \ ,.}$

W tym przypadku użyto zamiast wyjaśnienia, że logarytm został wzięty do podstawy e , aby uprościć obliczenia. ${\ displaystyle h_ {e} (X)}$ ${\ Displaystyle h (X)}$

Związek z błędem estymatora

Entropia różniczkowa daje dolną granicę oczekiwanego kwadratu błędu estymatora . Dla każdej zmiennej losowej i estymatora obowiązują następujące zasady: ${\ displaystyle X}$ ${\ displaystyle {\ widehat {X}}}$

{\ displaystyle \ operatorname {E} [(X - {\ widehat {X}}) ^ {2}] \ geq {\ frac {1} {2 \ pi e}} e ^ {2h (X)}}

z równością wtedy i tylko wtedy, gdy jest zmienną losową Gaussa i jest średnią . ${\ displaystyle X}$ ${\ displaystyle {\ widehat {X}}}$ ${\ displaystyle X}$

Entropie różniczkowe dla różnych rozkładów

W poniższej tabeli jest funkcja gamma , to digamma , to funkcja beta , a γ _E to stała Eulera . ${\ Displaystyle \ Gamma (x) = \ int _ {0} ^ {\ infty} e ^ {- t} t ^ {x-1} dt}$ ${\ Displaystyle \ psi (x) = {\ Frac {d} {dx}} \ ln \ Gamma (x) = {\ Frac {\ Gamma '(x)} {\ Gamma (x)}}}$ ${\ Displaystyle B (p, q) = {\ Frac {\ Gamma (p) \ Gamma (q)} {\ Gamma (p + q)}}}$

Tabela entropii różniczkowych
Nazwa dystrybucji	Funkcja gęstości prawdopodobieństwa (pdf)	Entropia w natsach	Wsparcie
Mundur	${\ Displaystyle f (x) = {\ Frac {1} {ba}}}$	${\ Displaystyle \ ln (ba) \,}$	${\ displaystyle [a, b] \,}$
Normalna	${\ Displaystyle f (x) = {\ Frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} \ exp \ lewo (- {\ Frac {(x- \ mu) ^ {2} } {2 \ sigma ^ {2}}} \ right)}$	${\ Displaystyle \ ln \ lewo (\ sigma {\ sqrt {2 \, \ pi \, e}} \ po prawej)}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Wykładniczy	${\ Displaystyle f (x) = \ lambda \ exp \ lewo (- \ lambda x \ prawej)}$	${\ Displaystyle 1- \ ln \ lambda \,}$	${\ displaystyle [0, \ infty) \,}$
Rayleigh	${\ Displaystyle f (x) = {\ Frac {x} {\ sigma ^ {2}}} \ exp \ lewo (- {\ Frac {x ^ {2}} {2 \ sigma ^ {2}}} \ dobrze)}$	${\ Displaystyle 1+ \ ln {\ Frac {\ sigma} {\ sqrt {2}}} + {\ Frac {\ gamma _ {E}} {2}}}$	${\ displaystyle [0, \ infty) \,}$
Beta	${\ Displaystyle f (x) = {\ Frac {x ^ {\ alfa -1} (1-x) ^ {\ beta -1}} {B (\ alfa, \ beta)}}}$ dla ${\ Displaystyle 0 \ równoważnik x \ równoważnik 1}$	${\ Displaystyle \ ln B (\ alfa, \ beta) - (\ alfa -1) [\ psi (\ alfa) - \ psi (\ alfa + \ beta)] \,}$ ${\ Displaystyle - (\ beta -1) [\ psi (\ beta) - \ psi (\ alfa + \ beta)] \,}$	${\ displaystyle [0,1] \,}$
Cauchy	${\ Displaystyle f (x) = {\ Frac {\ gamma} {\ pi}} {\ Frac {1} {\ gamma ^ {2} + X ^ {2}}}}$	${\ Displaystyle \ ln (4 \ pi \ gamma) \,}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Chi	${\ Displaystyle f (x) = {\ Frac {2} {2 ^ {k / 2} \ Gamma (k / 2)}} x ^ {k-1} \ exp \ lewo (- {\ Frac {x ^ {2}} {2}} \ right)}$	${\ Displaystyle \ ln {\ Frac {\ Gamma (k / 2)} {\ sqrt {2}}} - {\ Frac {k-1} {2}} \ psi \ left ({\ Frac {k} { 2}} \ right) + {\ frac {k} {2}}}$	${\ displaystyle [0, \ infty) \,}$
Chi-kwadrat	${\ Displaystyle f (x) = {\ Frac {1} {2 ^ {k / 2} \ Gamma (k / 2)}} x ^ {{\ Frac {k} {2}} \! - \! 1 } \ exp \ left (- {\ frac {x} {2}} \ right)}$	${\ Displaystyle \ ln 2 \ Gamma \ lewo ({\ Frac {k} {2}} \ prawej) - \ lewo (1 - {\ Frac {k} {2}} \ prawo) \ psi \ lewo ({\ frac {k} {2}} \ right) + {\ frac {k} {2}}}$	${\ displaystyle [0, \ infty) \,}$
Erlang	${\ Displaystyle f (x) = {\ Frac {\ lambda ^ {k}} {(k-1)!}} x ^ {k-1} \ exp (- \ lambda x)}$	${\ Displaystyle (1-k) \ psi (k) + \ ln {\ Frac {\ Gamma (k)} {\ lambda}} + k}$	${\ displaystyle [0, \ infty) \,}$
fa	${\ Displaystyle f (x) = {\ Frac {n_ {1} ^ {\ Frac {n_ {1}} {2}} n_ {2} ^ {\ Frac {n_ {2}} {2}}} { B ({\ frac {n_ {1}} {2}}, {\ frac {n_ {2}} {2}})}} {\ frac {x ^ {{\ frac {n_ {1}} {2 }} - 1}} {(n_ {2} + n_ {1} x) ^ {\ frac {n_ {1} + n2} {2}}}}}$	${\ Displaystyle \ ln {\ Frac {n_ {1}} {n_ {2}}} B \ lewo ({\ Frac {n_ {1}} {2}}, {\ Frac {n_ {2}} {2 }} \ right) + \ left (1 - {\ frac {n_ {1}} {2}} \ right) \ psi \ left ({\ frac {n_ {1}} {2}} \ right) -}$ ${\ Displaystyle \ lewo (1 + {\ Frac {n_ {2}} {2}} \ prawej) \ psi \ lewo ({\ Frac {n_ {2}} {2}} \ prawo) + {\ Frac { n_ {1} + n_ {2}} {2}} \ psi \ left ({\ frac {n_ {1} \! + \! n_ {2}} {2}} \ right)}$	${\ displaystyle [0, \ infty) \,}$
Gamma	${\ Displaystyle f (x) = {\ Frac {x ^ {k-1} \ exp (- {\ Frac {x} {\ theta}})} {\ theta ^ {k} \ Gamma (k)}} }$	${\ Displaystyle \ ln (\ teta \ Gamma (k)) + (1-k) \ psi (k) + k \,}$	${\ displaystyle [0, \ infty) \,}$
Laplace	${\ Displaystyle f (x) = {\ Frac {1} {2b}} \ exp \ lewo (- {\ Frac {\| x- \ mu \|} {b}} \ prawej)}$	${\ Displaystyle 1+ \ ln (2b) \,}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Logistyka	${\ Displaystyle f (x) = {\ Frac {e ^ {- x}} {(1 + e ^ {- x}) ^ {2}}}}$	${\ Displaystyle 2 \,}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Lognormal	${\ Displaystyle f (x) = {\ Frac {1} {\ sigma x {\ sqrt {2 \ pi}}}} \ exp \ lewo (- {\ Frac {(\ ln x- \ mu) ^ {2 }} {2 \ sigma ^ {2}}} \ right)}$	${\ Displaystyle \ mu + {\ Frac {1} {2}} \ ln (2 \ pi e \ sigma ^ {2})}$	${\ displaystyle [0, \ infty) \,}$
Maxwell – Boltzmann	${\ Displaystyle f (x) = {\ Frac {1} {a ^ {3}}} {\ sqrt {\ Frac {2} {\ pi}}} \, x ^ {2} \ exp \ left (- {\ frac {x ^ {2}} {2a ^ {2}}} \ right)}$	${\ Displaystyle \ ln (a {\ sqrt {2 \ pi}}) + \ gamma _ {E} - {\ Frac {1} {2}}}$	${\ displaystyle [0, \ infty) \,}$
Uogólniona norma	${\ Displaystyle f (x) = {\ Frac {2 \ beta ^ {\ Frac {\ alpha} {2}}} {\ Gamma ({\ Frac {\ alpha} {2}})}} x ^ {\ alfa -1} \ exp (- \ beta x ^ {2})}$	${\ Displaystyle \ ln {\ Frac {\ Gamma (\ alpha / 2)} {2 \ beta ^ {\ Frac {1} {2}}}} - {\ Frac {\ alpha -1} {2}} \ psi \ left ({\ frac {\ alpha} {2}} \ right) + {\ frac {\ alpha} {2}}}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Pareto	${\ Displaystyle f (x) = {\ Frac {\ alfa x_ {m} ^ {\ alfa}} {x ^ {\ alfa +1}}}}$	${\ Displaystyle \ ln {\ Frac {x_ {m}} {\ alpha}} + 1 + {\ Frac {1} {\ alpha}}}$	${\ displaystyle [x_ {m.} \ infty) \,}$
Student's t	${\ Displaystyle f (x) = {\ Frac {(1 + x ^ {2} / \ nu) ^ {- {\ Frac {\ nu +1} {2}}}} {{\ sqrt {\ nu} } B ({\ frac {1} {2}}, {\ frac {\ nu} {2}})}}}$	${\ Displaystyle {\ Frac {\ nu \! + \! 1} {2}} \ lewo (\ psi \ lewo ({\ Frac {\ nu \! + \! 1} {2}} \ po prawej) \! - \! \ psi \ left ({\ frac {\ nu} {2}} \ right) \ right) \! + \! \ ln {\ sqrt {\ nu}} B \ left ({\ frac {1} {2}}, {\ frac {\ nu} {2}} \ right)}$	${\ Displaystyle (- \ infty, \ infty) \,}$
Trójkątny	${\ Displaystyle f (x) = {\ rozpocząć {przypadków} {\ Frac {2 (xa)} {(ba) (ca)}} i \ mathrm {dla \} a \ równoważnik x \ równoważnik c, \\ [ 4pt] {\ frac {2 (bx)} {(ba) (bc)}} & \ mathrm {for \} c <x \ leq b, \\ [4pt] \ end {cases}}}$	${\ Displaystyle {\ Frac {1} {2}} + \ ln {\ Frac {ba} {2}}}$	${\ displaystyle [a, b] \,}$
Weibull	${\ Displaystyle f (x) = {\ Frac {k} {\ lambda ^ {k}}} x ^ {k-1} \ exp \ left (- {\ Frac {x ^ {k}} {\ lambda ^ {k}}} \ right)}$	${\ Displaystyle {\ Frac {(k-1) \ gamma _ {E}} {k}} + \ ln {\ Frac {\ lambda} {k}} + 1}$	${\ displaystyle [0, \ infty) \,}$
Normalne na wielu odmianach	${\ displaystyle f_ {X} ({\ vec {x}}) =}$ ${\ Displaystyle {\ Frac {\ exp \ left (- {\ Frac {1} {2}} ({\ vec {x}} - {\ vec {\ mu}}) ^ {\ top} \ Sigma ^ { -1} \ cdot ({\ vec {x}} - {\ vec {\ mu}}) \ right)} {(2 \ pi) ^ {N / 2} \ left \| \ Sigma \ right \| ^ {1 / 2}}}}$	${\ Displaystyle {\ Frac {1} {2}} \ ln \ {(2 \ pi e) ^ {N} \ det (\ Sigma) \}}$	${\ displaystyle \ mathbb {R} ^ {N}}$

Wiele różnicowych entropii pochodzi z.

Warianty

Jak opisano powyżej, entropia różnicowa nie ma wspólnych właściwości entropii dyskretnej. Na przykład różnicowa entropia może być ujemna; również nie jest niezmienna w przypadku ciągłych przekształceń współrzędnych. Edwin Thompson Jaynes wykazał w rzeczywistości, że powyższe wyrażenie nie jest poprawną granicą wyrażenia dla skończonego zbioru prawdopodobieństw.

Modyfikacja entropii różniczkowej powoduje dodanie niezmiennego współczynnika miary , aby to skorygować (patrz ograniczanie gęstości punktów dyskretnych ). Jeśli dodatkowo ogranicza się gęstość prawdopodobieństwa, powstałe pojęcie nazywa się w teorii informacji względną entropią : ${\ Displaystyle m (x)}$

{\ Displaystyle D (p || m) = \ int p (x) \ log {\ Frac {p (x)} {m (x)}} \, dx.}

Definicję różnicowej entropii powyżej można uzyskać, dzieląc zakres na biny długości z powiązanymi punktami próbkowania w przedziałach, dla liczby całkowitej Riemanna. Daje to skwantyzowaną wersję , zdefiniowaną przez if . Wtedy entropia jest ${\ displaystyle X}$ ${\ displaystyle h}$ ${\ displaystyle ih}$ ${\ displaystyle X}$ ${\ displaystyle X}$ ${\ displaystyle X_ {h} = ih}$ ${\ Displaystyle ih \ równoważnik X \ równoważnik (i + 1) h}$ ${\ displaystyle X_ {h} = ih}$

{\ Displaystyle H_ {h} = - \ suma _ {i} hf (ih) \ log (f (ih)) - \ suma hf (ih) \ log (h).}

Pierwszy człon po prawej stronie aproksymuje różnicową entropię, podczas gdy drugi człon jest w przybliżeniu . Zauważ, że ta procedura sugeruje, że entropia w dyskretnym sensie ciągłej zmiennej losowej powinna być . ${\ Displaystyle - \ log (h)}$ ${\ displaystyle \ infty}$

Zobacz też

Bibliografia

Linki zewnętrzne

„Entropia różniczkowa” , Encyklopedia Matematyki , EMS Press , 2001 [1994]
„Entropia różniczkowa” . PlanetMath .

Languages

In other projects