Wspólna entropia - Joint entropy

Teoria informacji
Entropia Entropia różnicowa Entropia warunkowa Wspólna entropia Wzajemna informacja Warunkowe informacje wzajemne Entropia względna Szybkość entropii Ograniczenie gęstości punktów dyskretnych Teoria informacji o skończonej długości bloku
Asymptotyczna właściwość ekwipartycji Teoria współczynnika-zniekształcenia
Twierdzenie Shannona o kodowaniu źródłowym Pojemność kanału Twierdzenie o kodowaniu zaszumionych kanałów Twierdzenie Shannona-Hartleya
v T mi

Wprowadzający w błąd diagram Venna pokazujący addytywne i subtraktywne relacje między różnymi miarami informacyjnymi związanymi ze skorelowanymi zmiennymi X i Y. Obszar zawarty przez oba koła to łączna entropia H(X,Y). Okrąg po lewej (czerwony i fioletowy) to indywidualna entropia H(X), a czerwony to warunkowa entropia H(X|Y). Okrąg po prawej (niebieski i fioletowy) to H(Y), a niebieski to H(Y|X). Fiolet to wzajemna informacja I(X;Y).

W teorii informacji , wspólne entropia jest miarą niepewności związanej z zestawem zmiennych .

Definicja

Wspólna entropia Shannona (w bitach ) dwóch dyskretnych zmiennych losowych i z obrazami i jest zdefiniowana jako ${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle {\mathcal {X}}}$${\displaystyle {\mathcal {Y}}}$

${\ Displaystyle \ mathrma {H} (X, Y) = - \ suma _ {x \ w {\ mathcal {X}}} \ suma _ {y \ w {\ mathcal {Y}}} P (x, y )\log _{2}[P(x,y)]}$

( Równanie 1 )

gdzie i szczególne wartości i , odpowiednio, jest wspólny prawdopodobieństwo tych wartości występują razem, i określa się, czy 0 . ${\displaystyle x}$${\displaystyle y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle P(x,y)}$${\ Displaystyle P (x, y) \ log _ {2} [P (x, y)]}$${\ Displaystyle P (x, y) = 0}$

Dla więcej niż dwóch zmiennych losowych rozszerza się to do: ${\ Displaystyle X_ {1}, ..., X_ {n}}$

${\ Displaystyle \ operatorname {H} (X_ {1}, ..., X_ {n}) = - \ suma _ {x_ {1} \ w {\ mathcal {X}} _ {1}}... \sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1 },...,x_{n})]}$

( Równanie 2 )

gdzie są poszczególne wartości , odpowiednio, jest prawdopodobieństwem wystąpienia tych wartości razem i jest zdefiniowane jako 0 jeśli . ${\displaystyle x_{1},...,x_{n}}$${\ Displaystyle X_ {1}, ..., X_ {n}}$${\ Displaystyle P (x_ {1}, ..., x_ {n})}$${\ Displaystyle P (x_ {1}, ... x_ {n}) \ log _ {2} [P (x_ {1}, ..., x_ {n})]}$${\ Displaystyle P (x_ {1}, ..., x_ {n}) = 0}$

Nieruchomości

Nienegatywność

Łączna entropia zbioru zmiennych losowych jest liczbą nieujemną.

${\ Displaystyle \ operatorname {H} (X, Y) \ geq 0}$

${\ Displaystyle \ operatorname {H} (X_ {1}, \ ldots, X_ {n}) \ geq 0}$

Większe niż indywidualne entropie

Łączna entropia zbioru zmiennych jest większa lub równa maksimum wszystkich indywidualnych entropii zmiennych w zbiorze.

${\ Displaystyle \ operatorname {H} (X, Y) \ geq \ max \ lewo [\ operatorname {H} (X), \ operatorname {H} (Y) \ prawo]}$

${\ Displaystyle \ operatorname {H} {\ Bigl (} X_ {1}, \ ldots, X_ {n} {\ Bigr}} \ geq \ max _ {1 \ leq i \ leq n} {\ Bigl \ {} \mathrm {H} {\bigl (}X_{i}{\bigr )}{\Bigr \}}}$

Mniejsza lub równa sumie poszczególnych entropii

Łączna entropia zbioru zmiennych jest mniejsza lub równa sumie indywidualnych entropii zmiennych w zbiorze. To jest przykład subaddytywności . Ta nierówność jest równością wtedy i tylko wtedy i są statystycznie niezależne . ${\ Displaystyle X}$${\ Displaystyle Y}$

${\ Displaystyle \ operatorname {H} (X, Y) \ Leq \ operatorname {H} (X) + \ operatorname {H} (Y)}$

${\ Displaystyle \ operatorname {H} (X_ {1}, \ ldots, X_ {n}) \ Leq \ operatorname {H} (X_ {1}) + \ ldots + \ operatorname {H} (X_ {n}) }$

Związki z innymi miarami entropii

Entropia łączna jest używana w definicji entropii warunkowej

${\ Displaystyle \ operatorname {H} (X | Y) = \ operatorname {H} (X, Y) - \ operatorname {H} (Y) \}$,

oraz

$${\ Displaystyle \ operatorname {H} (X_ {1}, \ kropki, X_ {n}) = \ suma _ {k = 1} ^ {n} \ operatorname {H} (X_ {k} | X_ {k- 1},\kropki ,X_{1})}$$

${\ Displaystyle \ Operatorname {I} (X; Y) = \ operatorname {H} (X) + \ operatorname {H} (Y) - \ operatorname {H} (X, Y) \}$

W teorii informacji kwantowej połączona entropia jest uogólniana na połączoną entropię kwantową .

Wspólna entropia różniczkowa

Definicja

Powyższa definicja dotyczy dyskretnych zmiennych losowych i jest równie ważna w przypadku ciągłych zmiennych losowych. Ciągła wersja dyskretnej entropii stawu nazywana jest wspólną entropią różniczkową (lub ciągłą) . Niech i będą ciągłymi zmiennymi losowymi z łączną funkcją gęstości prawdopodobieństwa . Różnicowa entropia stawu jest zdefiniowana jako ${\ Displaystyle X}$${\ Displaystyle Y}$ ${\displaystyle f(x,y)}$${\ Displaystyle h (X, Y)}$

${\ Displaystyle h (X, Y) = - \ int _ {{\ mathcal {X}}, {\ mathcal {Y}}} f (x, y) \ log f (x, y) \ dxdy}$

( Równanie 3 )

Dla więcej niż dwóch ciągłych zmiennych losowych definicję uogólnia się na: ${\ Displaystyle X_ {1}, ..., X_ {n}}$

${\ Displaystyle h (X_ {1}, \ ldots, X_ {n}) = - \ int f (x_ {1}, \ ldots, x_ {n}) \ log f (x_ {1}, \ ldots, x_ {n})\,dx_{1}\ldots dx_{n}}$

( Równanie 4 )

Integralną zostaje przejęty wsparciu . Możliwe, że całka nie istnieje i wtedy mówimy, że entropia różniczkowa nie jest zdefiniowana. ${\displaystyle f}$

Nieruchomości

Podobnie jak w przypadku dyskretnym, łączna entropia różniczkowa zbioru zmiennych losowych jest mniejsza lub równa sumie entropii poszczególnych zmiennych losowych:

${\ Displaystyle h (X_ {1}, X_ {2}, \ ldots, X_ {n}) \ leq \ suma _ {i = 1} ^ {n} h (X_ {i})}$

Poniższa reguła łańcucha obowiązuje dla dwóch zmiennych losowych:

${\ Displaystyle h (X, Y) = h (X | Y) + h (Y)}$

W przypadku więcej niż dwóch zmiennych losowych uogólnia się to do:

${\ Displaystyle h (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ suma _ {i = 1} ^ {n} h (X_ {i} | X_ {1}, X_ { 2},\ldots ,X_{i-1})}$

Łączna entropia różniczkowa jest również używana w definicji wzajemnej informacji między ciągłymi zmiennymi losowymi:

${\ Displaystyle \ Operatorname {I} (X, Y) = h (X) + h (Y) - h (X, Y)}$

Bibliografia