Wzajemne informacje - Mutual information

Teoria informacji
Entropia Entropia różnicowa Entropia warunkowa Wspólna entropia Wzajemna informacja Warunkowe informacje wzajemne Entropia względna Szybkość entropii Ograniczenie gęstości punktów dyskretnych Teoria informacji o skończonej długości bloku
Asymptotyczna właściwość ekwipartycji Teoria współczynnika-zniekształcenia
Twierdzenie Shannona o kodowaniu źródłowym Pojemność kanału Twierdzenie o kodowaniu zaszumionych kanałów Twierdzenie Shannona-Hartleya
v T mi

W teorii prawdopodobieństwa i teorii informacji , informacja wzajemna ( MI ) dwóch zmiennych losowych jest miarą wzajemnego uzależnienia między dwiema zmiennymi. Dokładniej, określa ilościowo „ ilość informacji ” (w jednostkach takich jak Shannons ( bity ), nats lub hartleys ) uzyskaną na temat jednej zmiennej losowej, obserwując drugą zmienną losową. Pojęcie wzajemnej informacji jest ściśle powiązane z pojęciem entropii zmiennej losowej, podstawowym pojęciem w teorii informacji, które określa ilościowo oczekiwaną „ilość informacji” przechowywaną w zmiennej losowej.

Nie ogranicza się do zmiennych losowych o wartościach rzeczywistych i zależności liniowych, takich jak współczynnik korelacji , MI jest bardziej ogólny i określa, jak różni się wspólny rozkład pary od iloczynu rozkładów krańcowych i . MI jest wartość oczekiwana od punktowej wzajemnego informowania (PMI). ${\ Displaystyle (X, Y)}$${\ Displaystyle X}$${\ Displaystyle Y}$

Ilość ta została zdefiniowana i przeanalizowana przez Claude'a Shannona w jego przełomowym artykule „ A Mathematical Theory of Communication ”, chociaż nie nazwał tego „wzajemną informacją”. Termin ten został ukuty później przez Roberta Fano . Wzajemne informacje są również znane jako zdobywanie informacji .

Definicja

Niech będzie parą zmiennych losowych z wartościami w przestrzeni . Jeżeli ich łączny rozkład jest a rozkładami krańcowymi są i , wzajemna informacja jest zdefiniowana jako ${\ Displaystyle (X, Y)}$${\displaystyle {\mathcal {X}}\razy {\mathcal {Y}}}$${\ Displaystyle P_ {(X, Y)}}$${\displaystyle P_{X}}$${\displaystyle P_{Y}}$

gdzie jest rozbieżność Kullbacka-Leiblera . ${\displaystyle D_{\mathrm {KL}}}$

Zauważ, zgodnie z właściwością dywergencji Kullbacka–Leiblera , która jest równa zero dokładnie wtedy, gdy łączny rozkład pokrywa się z iloczynem marginalnych, tj. kiedy i są niezależne (a więc obserwacja nie mówi nic o ). Ogólnie jest nieujemna, jest miarą ceny za kodowanie jako parę niezależnych zmiennych losowych, podczas gdy w rzeczywistości tak nie jest. ${\ Displaystyle I (X; Y)}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle I (X; Y)}$${\ Displaystyle (X, Y)}$

W zakresie PMF dla dystrybucji dyskretnych

Wzajemne informacje o dwóch wspólnie dyskretnych zmiennych losowych i jest obliczana jako suma podwójnej: ${\ Displaystyle X}$${\ Displaystyle Y}$

gdzie jest wspólny prawdopodobieństwo masa funkcja o i i i są marginalne prawdopodobieństwo funkcje masowe i odpowiednio. ${\displaystyle p_{(X,Y)}}$${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle p_{X}}$${\displaystyle p_{Y}}$${\ Displaystyle X}$${\ Displaystyle Y}$

Jeśli chodzi o pliki PDF do ciągłej dystrybucji

W przypadku łącznie ciągłych zmiennych losowych sumę podwójną zastępuje się całką podwójną :

gdzie jest wspólny prawdopodobieństwo gęstość funkcją a i a są marginalne funkcje gęstości prawdopodobieństwa i odpowiednio. ${\displaystyle p_{(X,Y)}}$${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle p_{X}}$${\displaystyle p_{Y}}$${\ Displaystyle X}$${\ Displaystyle Y}$

Jeżeli używana jest logarytmiczna podstawa 2, jednostkami wzajemnych informacji są bity .

Motywacja

Intuicyjnie, wzajemne informacje mierzą informacje, które i udostępniają: mierzy, jak bardzo znajomość jednej z tych zmiennych zmniejsza niepewność co do drugiej. Na przykład, jeśli i są niezależne, to wiedza nie daje żadnych informacji o i odwrotnie, więc ich wzajemne informacje wynoszą zero. Z drugiej strony, jeśli jest funkcją deterministyczną i jest funkcją deterministyczną, to wszystkie informacje przekazywane przez są współdzielone z : poznanie określa wartość i odwrotnie. W rezultacie, w tym przypadku wzajemna informacja jest taka sama jak niepewność zawarta w (lub ) sam, czyli entropii z (lub ). Co więcej, ta wzajemna informacja jest taka sama jak entropia i entropia . (Bardzo szczególnym przypadkiem jest sytuacja, w której i są tą samą zmienną losową.) ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$

Wymiana informacji jest miarą wrodzonej zależność wyrażoną w wspólnej dystrybucji z i w stosunku do marginalnej dystrybucji i przy założeniu niezależności. Wzajemna informacja mierzy zatem zależność w następującym sensie: wtedy i tylko wtedy, gdy i są niezależnymi zmiennymi losowymi. Łatwo to zauważyć w jednym kierunku: jeśli i są niezależne, to , a zatem: ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle \ Operatorname {I} (X; Y) = 0}$ ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle p_ {(X, Y)} (x, y) = p_ {X} (x) \ cdot p_ {Y} (y)}$

${\ Displaystyle \ log {\ lewo ({\ Frac {p_ {(X, Y)} (x, y)} {p_ {X} (x) \, p_ {Y} (y)}} \ prawej)} =\log 1=0.}$

Ponadto wzajemne informacje są nieujemne ( patrz poniżej) i symetryczne ( patrz poniżej). ${\ Displaystyle \ Operatorname {I} (X; Y) \ geq 0}$${\ Displaystyle \ operatorname {I} (X; Y) = \ operatorname {I} (Y; X)}$

Stosunek do innych ilości

Nienegatywność

Wykorzystując nierówność Jensena w definicji wzajemnej informacji możemy pokazać, że jest ona nieujemna, tj ${\ Displaystyle \ Operatorname {I} (X; Y)}$

${\ Displaystyle \ Operatorname {I} (X; Y) \ geq 0}$

Symetria

${\ Displaystyle \ operatorname {I} (X; Y) = \ operatorname {I} (Y; X)}$

Związek z entropią warunkową i wspólną

Wzajemne informacje można równoważnie wyrazić jako:

${\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} (X; Y) i {} \ równoważny \ operator {H} (X) - \ operator {H} (X \ mid Y) \ \ & {} \ równoważne \mathrm {H} (Y)-\mathrm {H} (Y\mid X)\\&{}\równoważne \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H } (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X\mid Y)-\mathrm {H} (Y\mid X)\end{ wyrównany}}}$

gdzie i są marginalne entropie , i są entropie warunkowe i jest wspólny entropia od a . ${\ Displaystyle \ operatorname {H} (X)}$${\ Displaystyle \ operatorname {H} (Y)}$${\ Displaystyle \ operatorname {H} (X \ mid Y)}$${\ Displaystyle \ operatorname {H} (Y \ mid X)}$${\ Displaystyle \ operatorname {H} (X, Y)}$${\ Displaystyle X}$${\ Displaystyle Y}$

Zwróć uwagę na analogię do sumy, różnicy i przecięcia dwóch zbiorów: pod tym względem wszystkie formuły podane powyżej wynikają z diagramu Venna przedstawionego na początku artykułu.

W odniesieniu do kanału komunikacyjnego, w którym wyjście jest zaszumioną wersją wejścia , relacje te są podsumowane na rysunku: ${\ Displaystyle Y}$${\ Displaystyle X}$

Ponieważ jest nieujemny, w konsekwencji . Tutaj podajemy szczegółową dedukcję dla przypadku wspólnie dyskretnych zmiennych losowych: ${\ Displaystyle \ Operatorname {I} (X; Y)}$${\ Displaystyle \ operatorname {H} (X) \ geq \ operatorname {H} (X \ mid Y)}$${\ Displaystyle \ Operatorname {I} (X; Y) = \ operatorname {H} (Y) - \ operatorname {H} (Y \ mid X)}$

${\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} (X; Y) i {} = \ suma _ {x \ w {\ mathcal {X}}, r \ w {\ mathcal {Y}}} p_ {(X,Y)}(x,y)\log {\frac {p_{(X,Y)}(x,y)}{p_{X}(x)p_{Y}(y)}}\ \&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log {\frac { p_{(X,Y)}(x,y)}{p_{X}(x)}}-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}} }p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p_{X}(x)p_{Y\mid X=x}(y)\log p_{Y\mid X=x}(y)-\sum _{x\in {\mathcal { X}},y\in {\mathcal {Y}}}p_{(X,Y)}(x,y)\log p_{Y}(y)\\&{}=\sum _{x\in {\mathcal {X}}}p_{X}(x)\left(\sum _{y\in {\mathcal {Y}}}p_{Y\mid X=x}(y)\log p_{Y \mid X=x}(y)\right)-\sum _{y\in {\mathcal {Y}}}\left(\sum _{x}p_{(X,Y)}(x,y) \right)\log p_{Y}(y)\\&{}=-\sum _{x\in {\mathcal {X}}}p(x)\mathrm {H} (Y\mid X=x )-\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\log p_{Y}(y)\\&{}=-\mathrm {H} (Y\mid X )+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y\środek X).\\\end{wyrównany}}}$

Dowody innych tożsamości powyżej są podobne. Dowód ogólnego przypadku (nie tylko dyskretnego) jest podobny, z całkami zastępującymi sumy.

Intuicyjnie, jeśli entropia jest traktowana jako miara niepewności o zmiennej losowej, a następnie jest miarą tego, co ma nie mówić o . Jest to "wielkość niepewności pozostałej po jest znana", a stąd prawą stronę drugiej z tych równości można odczytać jako "wielkość niepewności w , minus wielkość niepewności, w której pozostaje po jest znana", co jest równoważne „ilości niepewności, w której usuwa się wiedzę ”. Potwierdza to intuicyjne znaczenie wzajemnej informacji jako ilości informacji (tj. zmniejszenia niepewności), którą znajomość jednej zmiennej zapewnia o drugiej. ${\ Displaystyle \ operatorname {H} (Y)}$${\ Displaystyle \ operatorname {H} (Y \ mid X)}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$

Zwróć uwagę, że w przypadku dyskretnym, a zatem . W ten sposób można sformułować podstawową zasadę, że zmienna zawiera co najmniej tyle informacji o sobie, ile może dostarczyć każda inna zmienna. ${\ Displaystyle \ operatorname {H} (Y \ mid Y) = 0}$${\ Displaystyle \ operatorname {H} (Y) = \ operatorname {I} (Y; Y)}$${\ Displaystyle \ operatorname {I} (Y; Y) \ geq \ operatorname {I} (X; Y)}$

Stosunek do dywergencji Kullbacka-Leiblera

W przypadku par wspólnie dyskretnych lub wspólnie ciągłych wzajemną informacją jest rozbieżność Kullbacka-Leiblera z iloczynu rozkładów krańcowych , , łącznego rozkładu , czyli ${\ Displaystyle (X, Y)}$${\ Displaystyle p_ {X} \ cdot p_ {Y}}$ ${\displaystyle p_{(X,Y)}}$

Ponadto niech będzie warunkową funkcją masy lub gęstości. Wtedy mamy tożsamość ${\ Displaystyle p_ {X \ mid Y = y} (x) = p_ {(X, Y)} (x, y) / p_ {Y} (y)}$

Dowód na wspólnie dyskretne zmienne losowe jest następujący:

${\ Displaystyle {\ zacząć {wyrównany} \ operatorname {I} (X; Y) & = \ suma _ {y \ w {\ mathcal {Y}}} \ suma _ {x \ w {\ mathcal {X}} }{p_{(X,Y)}(x,y)\log \left({\frac {p_{(X,Y)}(x,y)}{p_{X}(x)\,p_{ Y}(y)}}\right)}\\&=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X\mid Y=y}(x)p_{Y}(y)\log {\frac {p_{X\mid Y=y}(x)p_{Y}(y)}{p_{X}(x)p_{ Y}(y)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\sum _{x\in {\mathcal {X}}}p_{ X\mid Y=y}(x)\log {\frac {p_{X\mid Y=y}(x)}{p_{X}(x)}}\\&=\sum _{y\in {\mathcal {Y}}}p_{Y}(y)\;D_{\text{KL}}\!\left(p_{X\mid Y=y}\parallel p_{X}\right)\\ &=\mathbb {E} _{Y}\left[D_{\text{KL}}\!\left(p_{X\mid Y}\parallel p_{X}\right)\right].\end{ wyrównany}}}$

Podobnie tę tożsamość można ustalić dla wspólnie ciągłych zmiennych losowych.

Zauważ, że tutaj dywergencja Kullbacka-Leiblera obejmuje całkowanie tylko wartości zmiennej losowej , a wyrażenie nadal oznacza zmienną losową, ponieważ jest losowa. Tak więc wzajemna informacja może być również rozumiana jako oczekiwanie na dywergencji Kullback-Leiblera w jednoczynnikowej dystrybucji od od rozkładu warunkowego o podane : im bardziej różnią dystrybucje i są średnio, tym większy przyrost informacji . ${\ Displaystyle X}$${\ Displaystyle D_ {\ tekst {KL}} (p_ {X \ średni Y} \ równoległy p_ {X})}$${\ Displaystyle Y}$ ${\displaystyle p_{X}}$${\ Displaystyle X}$ ${\displaystyle p_{X\średni Y}}$${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle p_{X\średni Y}}$${\displaystyle p_{X}}$

Bayesowska estymacja wzajemnych informacji

Jeśli dostępne są próbki ze wspólnego rozkładu, można zastosować podejście bayesowskie do oszacowania wzajemnych informacji tego rozkładu. Pierwszą pracą, która to wykonała, która pokazała również, jak wykonać bayesowskie oszacowanie wielu innych właściwości informacyjno-teoretycznych poza wzajemną informacją, była. Kolejni badacze ponownie wyprowadzili i rozszerzyli tę analizę. Zobacz ostatni artykuł oparty na wcześniej specjalnie dostosowanym do szacowania wzajemnych informacji per se. Poza tym ostatnio w . ${\ Displaystyle Y}$

Założenia niezależności

Sformułowanie dywergencji Kullbacka-Leiblera dla wzajemnych informacji opiera się na tym, że interesuje się porównanie z całkowicie sfaktoryzowanym produktem zewnętrznym . W wielu problemach, takich jak nieujemna faktoryzacja macierzy , interesuje się mniej ekstremalnymi faktoryzacjami; konkretnie, chciałoby się porównać z aproksymacją macierzy niskiego rzędu w jakiejś nieznanej zmiennej ; to znaczy do jakiego stopnia można mieć ${\displaystyle p(x,y)}$ ${\ Displaystyle p (x) \ cdot p (y)}$${\displaystyle p(x,y)}$${\displaystyle w}$

${\ Displaystyle p (x, y) \ około \ suma _ {w} p ^ {\ prime} (x, w) p ^ {\ prime \ prime} (w, y)}$

Alternatywnie, ktoś może być zainteresowany wiedzą, o ile więcej informacji przenosi się na jego faktoryzację. W takim przypadku nadmiar informacji, że pełny rozkład przenosi na czynniki macierzowe jest podany przez dywergencję Kullbacka-Leiblera ${\displaystyle p(x,y)}$${\displaystyle p(x,y)}$

${\ Displaystyle \ Operatorname {I} _ {LRMA} = \ suma _ {y \ w {\ mathcal {Y}}} \ suma _ {x \ w {\ mathcal {X}}} {p (x, y) \log {\left({\frac {p(x,y)}{\sum _{w}p^{\prime }(x,w)p^{\prime \prime }(w,y)}} \Prawidłowy)}},}$

Konwencjonalna definicja wzajemnej informacji zostaje przywrócona w skrajnym przypadku, gdy proces ma tylko jedną wartość dla . ${\ Displaystyle W}$${\displaystyle w}$

Wariacje

Zaproponowano kilka wariantów wzajemnej informacji, aby zaspokoić różne potrzeby. Wśród nich są znormalizowane warianty i uogólnienia na więcej niż dwie zmienne.

Metryczny

Wiele aplikacji wymaga metryki , czyli miary odległości między parami punktów. Ilość

${\ Displaystyle {\ zacząć {wyrównany} d (X, Y) i = \ operator {H} (X, Y) - \ operatorname {I} (X; Y) \ \ & = \ operator {H} (X) +\mathrm {H} (Y)-2\operator {I} (X;Y)\\&=\mathrm {H} (X\mid Y)+\mathrm {H} (Y\mid X)\end {wyrównany}}}$

spełnia właściwości metryki ( nierówność trójkąta , nieujemność , nierozróżnialność i symetria). Ta metryka odległości jest również znana jako zmienność informacji .

Jeśli są dyskretnymi zmiennymi losowymi, to wszystkie składniki entropii są nieujemne, więc można zdefiniować znormalizowaną odległość ${\displaystyle X,Y}$${\ Displaystyle 0 \ leq d (X, Y) \ leq \ operatorname {H} (X, Y)}$

${\ Displaystyle D (X, Y) = {\ Frac {d (X, Y)} {\ operatorname {H} (X, Y)}} \ równa 1.}$

Metryka jest miarą uniwersalną, w tym sensie, że jeśli jakakolwiek inna odległość mierzy miejsca i bliskość, to również oceni je blisko. ${\ Displaystyle D}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle D}$

Podpięcie definicji pokazuje, że

${\ Displaystyle D (X, Y) = 1 - {\ Frac {\ Operator {I} (X; Y)} {\ operator {H} (X, Y)}}.}$

W interpretacji informacji opartej na teorii mnogości (patrz rysunek przedstawiający Entropię warunkową ) jest to w rzeczywistości odległość Jaccarda między a . ${\ Displaystyle X}$${\ Displaystyle Y}$

Wreszcie,

${\ Displaystyle D ^ {\ Prime} (X, Y) = 1 - {\ Frac {\ Operator {I} (X; Y)} {\ max \ lewo \ {\ operatorname {H} (X), \ operatorname {H} (T)\prawo\}}}}$

jest również metryką.

Warunkowe informacje wzajemne

Czasami przydatne jest wyrażenie wzajemnej informacji dwóch zmiennych losowych uwarunkowanych trzecią.

Dla wspólnie dyskretnych zmiennych losowych przyjmuje to postać

${\ Displaystyle \ operatorname {I} (X; Y | Z) = \ suma _ {z \ w {\ mathcal {Z}}} \ suma _ {y \ w {\ mathcal {Y}}} \ suma _ { x\in {\mathcal {X}}}{p_{Z}(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y |Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}}\right]},}$

co można uprościć jako

${\ Displaystyle \ Operatorname {I} (X; Y | Z) = \ suma _ {z \ w {\ mathcal {Z}}} \ suma _ {y \ w {\ mathcal {Y}}} \ suma _ { x\in {\mathcal {X}}}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z }(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.}$

Dla wspólnie ciągłych zmiennych losowych przyjmuje to postać

${\ Displaystyle \ Operatorname {I} (X; Y | Z) = \ int _ {\ mathcal {Z}} \ int _ {\ mathcal {Y}} \ int _ {\ mathcal {X}} {p_ {Z }(z)\,p_{X,Y|Z}(x,y|z)\log \left[{\frac {p_{X,Y|Z}(x,y|z)}{p_{X |Z}\,(x|z)p_{Y|Z}(y|z)}}\right]}dxdydz,}$

co można uprościć jako

${\ Displaystyle \ operatorname {I} (X; Y | Z) = \ int _ {\ mathcal {Z}} \ int _ {\ mathcal {Y}} \ int _ {\ mathcal {X}} p_ {X, Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x, z)p_{Y,Z}(y,z)}}dxdydz.}$

Warunkowanie na trzeciej zmiennej losowej może zwiększać lub zmniejszać wzajemne informacje, ale zawsze jest prawdą, że

${\ Displaystyle \ operatorname {I} (X; Y | Z) \ geq 0}$

dla dyskretnych, wspólnie rozłożonych zmiennych losowych . Wynik ten został wykorzystany jako podstawowy element budulcowy do udowodnienia innych nierówności w teorii informacji . ${\ Displaystyle X, Y, Z}$

Informacje o interakcji

Zaproponowano kilka uogólnień wzajemnych informacji na więcej niż dwie zmienne losowe, takie jak całkowita korelacja (lub multiinformacja) i podwójna korelacja całkowita . Wyrażenie i badanie wielowymiarowej wzajemnej informacji wyższego stopnia zostało osiągnięte w dwóch pozornie niezależnych pracach: McGill (1954), który nazwał te funkcje „informacją o interakcji”, oraz Hu Kuo Ting (1962). Informacje o interakcji są zdefiniowane dla jednej zmiennej w następujący sposób:

${\ Displaystyle \ Operatorname {I} (X_ {1}) = \ operator {H} (X_ {1})}$

i dla ${\displaystyle n>1,}$

${\displaystyle \operator {I} (X_{1};\,...\,;X_{n})=\operator {I} (X_{1};\,...\,;X_{n -1})-\nazwa operatora {I} (X_{1};\,...\,;X_{n-1}\mid X_{n}).}$

Niektórzy autorzy odwracają kolejność terminów po prawej stronie poprzedniego równania, które zmienia znak, gdy liczba zmiennych losowych jest nieparzysta. (W tym przypadku wyrażenie jednej zmiennej staje się ujemną wartością entropii.) Zauważ, że

${\ Displaystyle I (X_ {1}; \ ldots; X_ {n-1} \ mid X_ {n}) = \ mathbb {E} _ {X_ {n}} [D_ {\ operatorname {KL}} (P_ {(X_{1},\ldots ,X_{n-1})\mid X_{n}}\|P_{X_{1}\mid X_{n}}\otimes \cdots \otimes P_{X_{n -1}\środek X_{n}})].}$

Wielowymiarowa niezależność statystyczna

Wielowymiarowe funkcje wzajemnej informacji uogólniają przypadek niezależności parami, który stwierdza, że wtedy i tylko wtedy , gdy , na dowolną zmienną wiele. n zmienne są niezależne od siebie, wtedy i tylko wtedy, gdy wzajemne funkcji informacyjnych znikają z (tw 2). W tym sensie może być stosowany jako udoskonalone statystyczne kryterium niezależności. ${\displaystyle X_{1},X_{2}}$${\ Displaystyle I (X_ {1}; X_ {2}) = 0}$${\ Displaystyle 2 ^ {n} -n-1}$${\ Displaystyle I (X_ {1}; \ ldots; X_ {k}) = 0}$${\displaystyle n\geq k\geq 2}$${\ Displaystyle I (X_ {1}; \ ldots; X_ {k}) = 0}$

Aplikacje

Dla 3 zmiennych Brenner i in. zastosowali wielowymiarową wzajemną informację do kodowania neuronowego i nazwali jego negatywność „synergią”, a Watkinson i in. zastosował go do ekspresji genetycznej. Dla dowolnych zmiennych k Tapia et al. zastosował wielowymiarową wzajemną informację do ekspresji genów). Może być zerowa, dodatnia lub ujemna. Pozytywność odpowiada relacjom uogólniającym korelacje parami, nieważność odpowiada wyrafinowanemu pojęciu niezależności, a negatywność wykrywa wysokowymiarowe „wyłaniające się” relacje i zgrupowane punkty danych).

Stwierdzono, że przy wyborze cech przydatny jest jeden wysokowymiarowy schemat uogólniania, który maksymalizuje wzajemne informacje między rozkładem łącznym a innymi zmiennymi docelowymi .

Wzajemna informacja jest również wykorzystywana w obszarze przetwarzania sygnałów jako miara podobieństwa między dwoma sygnałami. Na przykład metryka FMI jest miarą wydajności łączenia obrazów, która wykorzystuje wzajemne informacje w celu zmierzenia ilości informacji zawartych w połączonym obrazie o obrazach źródłowych. Matlab kod dla tej metryki można znaleźć na stronie. Dostępny jest pakiet Pythona do obliczania wszystkich wielowymiarowych informacji wzajemnych, warunkowych informacji wzajemnych, wspólnych entropii, całkowitych korelacji, odległości informacji w zbiorze danych składającym się z n zmiennych.

Skierowane informacje

Informacja skierowana , mierzy ilość informacji płynących z procesu do , gdzie oznacza wektor i oznacza . Termin informacja skierowana został ukuty przez Jamesa Masseya i jest zdefiniowany jako ${\ Displaystyle \ operatorname {I} \ lewo (X ^ {n} \ do Y ^ {n} \ po prawej)}$${\ Displaystyle X ^ {n}}$${\ Displaystyle Y ^ {n}}$${\ Displaystyle X ^ {n}}$${\displaystyle X_{1},X_{2},...,X_{n}}$${\ Displaystyle Y ^ {n}}$${\displaystyle Y_{1},Y_{2},...,Y_{n}}$

${\ Displaystyle \ operatorname {I} \ lewo (X ^ {n} \ do Y ^ {n} \ prawej) = \ suma _ {i = 1} ^ {n} \ operatorname {I} \ lewo (X ^ { i};Y_{i}\środek Y^{i-1}\right)}$.

Zauważ, że jeśli , skierowana informacja staje się informacją wzajemną. Informacja skierowana ma wiele zastosowań w problemach, w których przyczynowość odgrywa ważną rolę, takich jak przepustowość kanału ze sprzężeniem zwrotnym. ${\displaystyle n=1}$

Warianty znormalizowane

Znormalizowane warianty wzajemnej informacji są dostarczane przez współczynniki ograniczenia , współczynnik niepewności lub biegłość:

${\ Displaystyle C_ {XY} = {\ Frac {\ Operator {I} (X; Y)} {\ operator {H} (Y)}} ~~~~ {\ mbox {i}} ~~~~ C_ {YX}={\frac {\nazwa operatora {I} (X;Y)}{\mathrm {H} (X)}}.}$

Te dwa współczynniki mają wartość z przedziału [0, 1], ale niekoniecznie są równe. W niektórych przypadkach może być pożądana miara symetryczna, na przykład następująca miara nadmiarowości :

${\ Displaystyle R = {\ Frac {\ Operator {I} (X; Y)} {\ Operator {H} (X) + \ Operator {H} (Y)}}}$

który osiąga minimum zero, gdy zmienne są niezależne i wartość maksymalną

${\ Displaystyle R_ {\ max} = {\ Frac {\ min \ lewo \ {\ operatorka {H} (X), \ operatorka {H} (Y) \ prawo \}} {\ operatorka {H} (X) +\mathrm {H} (Y)}}}$

kiedy jedna zmienna staje się całkowicie zbędna przy znajomości drugiej. Zobacz także Redundancja (teoria informacji) .

Inną miarą symetryczną jest niepewność symetryczna ( Witten i Frank 2005 ), podana przez

${\ Displaystyle U (X, Y) = 2R = 2 {\ Frac {\ Operator {I} (X; Y)} {\ operator {H} (X) + \ operator {H} (Y)}}}$

który reprezentuje średnią harmoniczną dwóch współczynników niepewności . ${\ Displaystyle C_ {XY}, C_ {YX}}$

Jeśli uznamy wzajemne informacje za szczególny przypadek całkowitej korelacji lub podwójnej całkowitej korelacji , wersja znormalizowana to odpowiednio:

${\ Displaystyle {\ Frac {\ nazwa operatora {I} (X; Y)} {\ min \ lewo [\ operator {H} (X), \ operator {H} (Y) \ po prawej]}}}$ oraz ${\ Displaystyle {\ Frac {\ Operator {I} (X; Y)} {\ operator {H} (X, Y)}} \;.}$

Ta znormalizowana wersja znana również jako wskaźnik jakości informacji (IQR), który określa ilościowo ilość informacji o zmiennej opartej na innej zmiennej w stosunku do całkowitej niepewności:

${\ Displaystyle IQR (X, Y) = \ operator {E} [\ operator {I} (X; Y)] = {\ Frac {\ operator {I} (X; Y)} {\ operator {H} ( X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\ suma _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1}$

Istnieje normalizacja, która wywodzi się z myślenia o wzajemnych informacjach jako analogii do kowariancji (zatem entropia Shannona jest analogiczna do wariancji ). Następnie znormalizowana wzajemna informacja jest obliczana zgodnie ze współczynnikiem korelacji Pearsona ,

${\ Displaystyle {\ Frac {\ Operatorname {I} (X; Y)} {\ sqrt {\ operatorname {H} (X) \ operatorname {H} (Y)}}} \;.}$

Warianty ważone

W tradycyjnym formułowaniu wzajemnej informacji,

${\ Displaystyle \ Operatorname {I} (X; Y) = \ suma _ {y \ w Y} \ suma _ {x \ w X} p (x, y) \ log {\ Frac {p (x, y) }{p(x)\,p(y)}},}$

każde zdarzenie lub obiekt określony przez jest ważone odpowiednim prawdopodobieństwem . Zakłada się, że wszystkie obiekty lub zdarzenia są równoważne poza prawdopodobieństwem ich wystąpienia. Jednak w niektórych zastosowaniach może się zdarzyć, że pewne obiekty lub zdarzenia są bardziej znaczące niż inne lub że pewne wzorce skojarzeń są ważniejsze semantycznie niż inne. ${\displaystyle (x,y)}$${\displaystyle p(x,y)}$

Na przykład, mapowanie deterministyczne może być postrzegane jako silniejsze niż mapowanie deterministyczne , chociaż te relacje dałyby te same wzajemne informacje. Dzieje się tak, ponieważ wzajemne informacje nie są w ogóle wrażliwe na jakiekolwiek nieodłączne uporządkowanie wartości zmiennych ( Cronbach 1954 , Coombs, Dawes i Tversky 1970 , Lockhead 1970 ), a zatem nie są w ogóle wrażliwe na formę relacyjnego odwzorowania między powiązane zmienne. Jeśli pożądane jest, aby pierwsza relacja – wykazująca zgodność co do wszystkich wartości zmiennych – była oceniana jako silniejsza niż późniejsza relacja, to można zastosować następującą ważoną informację wzajemną ( Guiasu 1977 ). ${\ Displaystyle \ {(1,1), (2,2), (3,3) \}}$${\ Displaystyle \ {(1,3), (2,1), (3,2) \}}$

${\ Displaystyle \ Operatorname {I} (X; Y) = \ suma _ {y \ w Y} \ suma _ {x \ w X} w (x, y) p (x, y) \ log {\ Frac { p(x,y)}{p(x)\,p(y)}},}$

co przypisuje wagę prawdopodobieństwu współwystępowania każdej zmiennej wartości, . Pozwala to na to, że pewne prawdopodobieństwa mogą mieć większe lub mniejsze znaczenie niż inne, umożliwiając w ten sposób kwantyfikację odpowiednich czynników holistycznych lub czynników Prägnanza . W powyższym przykładzie użycie większych wag względnych dla , , i skutkowałoby oceną większej informacyjności dla relacji niż dla relacji , co może być pożądane w niektórych przypadkach rozpoznawania wzorców i tym podobnych. Ta ważona wzajemna informacja jest formą ważonej rozbieżności KL, o której wiadomo, że dla niektórych danych wejściowych przyjmuje wartości ujemne, a istnieją przykłady, w których ważone informacje wzajemne przyjmują również wartości ujemne. ${\displaystyle w(x,y)}$${\displaystyle p(x,y)}$${\ Displaystyle w (1,1)}$${\ Displaystyle w (2,2)}$${\displaystyle w(3,3)}$${\ Displaystyle \ {(1,1), (2,2), (3,3) \}}$${\ Displaystyle \ {(1,3), (2,1), (3,2) \}}$

Skorygowane wzajemne informacje

Rozkład prawdopodobieństwa można postrzegać jako podział zbioru . Można zatem zapytać: gdyby zbiór został podzielony losowo, jaki byłby rozkład prawdopodobieństw? Jaka byłaby wartość oczekiwana wzajemnej informacji? Regulować wzajemne przekazywanie informacji lub AMI odejmuje wartość oczekiwanie MI, tak że AMI wynosi zero, gdy dwie różne dystrybucje są przypadkowe, a jeden po dwie dystrybucje są identyczne. AMI definiuje się analogicznie do skorygowanego indeksu Rand dwóch różnych partycji zbioru.

Bezwzględne wzajemne informacje

Korzystając z idei złożoności Kołmogorowa , można rozważyć wzajemne informacje o dwóch ciągach niezależnych od jakiegokolwiek rozkładu prawdopodobieństwa:

${\ Displaystyle \ Operatorname {I} _ {K} (X; Y) = K (X)-K (X \ mid Y).}$

Aby ustalić, że ta wielkość jest symetryczna aż do współczynnika logarytmicznego ( ), potrzebna jest reguła łańcucha dla złożoności Kołmogorowa ( Li i Vitányi 1997 ). Przybliżenia tej wielkości poprzez kompresję mogą być użyte do zdefiniowania miary odległości w celu przeprowadzenia hierarchicznego grupowania sekwencji bez posiadania jakiejkolwiek wiedzy dziedzinowej o sekwencjach ( Cilibrasi & Vitányi 2005 ). ${\ Displaystyle \ Operatorname {I} _ {K} (X; Y) \ około \ Operatorname {I} _ {K} (Y; X)}$

Korelacja liniowa

W przeciwieństwie do współczynników korelacji, takich jak współczynnik korelacji momentu produktu , wzajemne informacje zawierają informacje o wszystkich zależnościach — liniowych i nieliniowych — a nie tylko o zależnościach liniowych, jak mierzy współczynnik korelacji. Jednak w wąskim przypadku, gdy wspólny rozkład dla i jest dwuwymiarowym rozkładem normalnym (co oznacza w szczególności, że oba rozkłady krańcowe mają rozkład normalny), istnieje dokładna zależność między współczynnikiem korelacji i współczynnikiem korelacji ( Gel'fand i Yaglom 1957 ). ${\ Displaystyle X}$${\ Displaystyle Y}$${\displaystyle \operatorname {I}}$${\ Displaystyle \ rho}$

${\ Displaystyle \ Operatorname {I} = - {\ Frac {1} {2}} \ log \ lewo (1- \ rho ^ {2} \ prawej)}$

Powyższe równanie można wyprowadzić w następujący sposób dla dwuwymiarowego Gaussa:

${\ Displaystyle {\ zacząć {wyrównany} {\ zacząć {pmatrix} X_ {1} \ \ X {2} \ koniec {pmatrix}} i \ sim {\ mathcal {N}} \ lewo ({\ zacząć {pmatrix}} \mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\qquad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\ rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1} {2}}+{\frac {1}{2}}\log(2\pi )+\log \left(\sigma _{i}\right),\quad i\in \{1,2\} \\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\ right]=1+\log(2\pi )+\log \left(\sigma _{1}\sigma _{2}\right)+{\frac {1}{2}}\log \left(1 -\rho ^{2}\prawo)\\\end{wyrównany}}}$

W związku z tym,

${\ Displaystyle \ Operatorname {I} \ lewo (X_ {1}; X_ {2} \ po prawej) = \ operator {H} \ lewo (X_ {1} \ po prawej) + \ operator {H} \ lewo (X_ { 2}\right)-\mathrm {H} \left(X_{1},X_{2}\right)=-{\frac {1}{2}}\log \left(1-\rho ^{2 }\Prawidłowy)}$

Dla danych dyskretnych

Gdy i są ograniczone do dyskretnej liczby stanów, dane obserwacji są podsumowywane w tabeli kontyngencji , ze zmienną wierszową (lub ) i zmienną kolumnową (lub ). Wzajemna informacja jest jedną z miar powiązania lub korelacji między zmiennymi wierszowymi i kolumnowymi. Inne miary powiązania obejmują statystyki testu chi-kwadrat Pearsona, statystyki testu G itp. W rzeczywistości wzajemne informacje są równe statystyce testu G podzielonej przez , gdzie oznacza wielkość próby. ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X}$${\displaystyle i}$${\ Displaystyle Y}$${\displaystyle j}$${\ Displaystyle 2N}$${\ Displaystyle N}$

Aplikacje

W wielu aplikacjach dąży się do maksymalizacji wzajemnych informacji (a tym samym zwiększenia zależności), co często jest równoznaczne z minimalizacją entropii warunkowej . Przykłady obejmują:

• W technologii wyszukiwarek wzajemne informacje między frazami i kontekstami są wykorzystywane jako funkcja klastrowania k-średnich w celu odkrycia klastrów semantycznych (pojęć). Na przykład wzajemne informacje o bigramie można obliczyć jako:

gdzie to liczba wystąpień bigramu xy w korpusie, to liczba wystąpień unigramu x w korpusie, B to całkowita liczba bigramów, a U to całkowita liczba unigramów.${\displaystyle f_{XY}}$${\displaystyle f_{X}}$

• W telekomunikacji , pojemność kanału jest równa wzajemnej informacji, maksymalizacja nad wszystkimi dystrybucjami wejściowych.
• Procedury uczenia dyskryminacyjnego dla ukrytych modeli Markowa zostały zaproponowane w oparciu o kryterium maksymalnej wzajemnej informacji (MMI).
• Przewidywanie struktury drugorzędowej RNA na podstawie dopasowania wielu sekwencji .
• Przewidywanie profilowania filogenetycznego na podstawie obecności w parach i zaniku funkcjonalnie połączonych genów .
• Wzajemna informacja została wykorzystana jako kryterium wyboru funkcji i przekształceń funkcji w uczeniu maszynowym . Można go wykorzystać do scharakteryzowania zarówno trafności, jak i redundancji zmiennych, takich jak wybór minimalnej redundancji .
• Wzajemne informacje są wykorzystywane do określania podobieństwa dwóch różnych grupowań zbioru danych. W związku z tym zapewnia pewną przewagę nad tradycyjnym indeksem Rand .
• Wzajemna informacja o słowach jest często wykorzystywana jako funkcja istotności przy obliczaniu kolokacji w językoznawstwie korpusowym . Ma to dodatkową złożoność, że żadne słowo-instancja nie jest instancją dwóch różnych słów; raczej liczy się przypadki, w których 2 słowa występują obok siebie lub w bliskiej odległości; to nieco komplikuje obliczenia, ponieważ oczekiwane prawdopodobieństwo wystąpienia jednego słowa w słowach innego rośnie wraz z .${\ Displaystyle N}$${\ Displaystyle N}$
• W obrazowaniu medycznym do rejestracji obrazu wykorzystuje się wzajemną informację . Biorąc pod uwagę obraz referencyjny (na przykład skan mózgu) i drugi obraz, który należy umieścić w tym samym układzie współrzędnych, co obraz referencyjny, obraz ten jest deformowany do momentu zmaksymalizowania wzajemnej informacji między nim a obrazem referencyjnym.
• Wykrywanie synchronizacji faz w analizie szeregów czasowych
• W metodzie infomax dla sieci neuronowych i innych uczenia maszynowego, w tym opartego na infomax algorytmie analizy niezależnych komponentów
• Średnia wzajemna informacja w twierdzeniu o osadzeniu opóźnienia jest wykorzystywana do określenia parametru opóźnienia embedowania.
• Wzajemne informacje między genami w danych z mikromacierzy ekspresji są wykorzystywane przez algorytm ARACNE do rekonstrukcji sieci genów .
• W mechanice statystycznej , paradoks Loschmidt użytkownika może być wyrażona w kategoriach wzajemnej informacji. Loschmidt zauważył, że nie da się określić prawa fizycznego, w którym brakuje symetrii odwrócenia czasu (np. drugiej zasady termodynamiki ) tylko z praw fizycznych, które mają taką symetrię. Zauważył, że H-Twierdzenie o Boltzmanna wykonane przy założeniu, że prędkość cząstek w gazie trwale skorelowane, które usuwa się symetrię czasowe charakterystyczne H twierdzenia. Można wykazać, że jeśli układ jest opisany gęstością prawdopodobieństwa w przestrzeni fazowej , to z twierdzenia Liouville'a wynika, że ​​łączna informacja (ujemna od łącznej entropii) rozkładu pozostaje stała w czasie. Łączna informacja jest równa wzajemnej informacji plus suma wszystkich marginalnych informacji (ujemnych marginalnych entropii) dla każdej współrzędnej cząstki. Założenie Boltzmanna sprowadza się do ignorowania wzajemnych informacji przy obliczaniu entropii, co daje entropię termodynamiczną (podzieloną przez stałą Boltzmanna).
• Wzajemne informacje są wykorzystywane do uczenia się struktury sieci bayesowskich / dynamicznych sieci bayesowskich , co ma wyjaśniać związek przyczynowy między zmiennymi losowymi, czego przykładem jest zestaw narzędzi GlobalMIT: uczenie się optymalnej globalnie dynamicznej sieci bayesowskiej z kryterium Mutual Information Test.
• Wzajemne informacje są wykorzystywane do ilościowego określenia informacji przesyłanych podczas procedury aktualizacji w algorytmie próbkowania Gibbsa .
• Popularna funkcja kosztu w uczeniu drzew decyzyjnych .
• Wzajemne informacje są wykorzystywane w kosmologii do testowania wpływu środowisk wielkoskalowych na właściwości galaktyk w Galaktycznym Zoo .
• Wzajemne informacje zostały wykorzystane w fizyce słonecznej do uzyskania profilu rotacji różnicowej Słońca , mapy odchylenia w czasie podróży dla plam słonecznych oraz wykresu czas-odległość na podstawie pomiarów cichego Słońca
• Używany w niezmiennym klastrowaniu informacji do automatycznego uczenia klasyfikatorów sieci neuronowych i segmentatorów obrazów bez danych oznaczonych etykietami.

Zobacz też

• Punktowa informacja wzajemna
• Wzajemna informacja kwantowa

Uwagi

Bibliografia

• Baudot, P.; Tapia, M.; Bennequin, D.; Bramkarz, JM (2019). „Analiza danych informacji topologicznych”. Entropia . 21 (9). 869. arXiv : 1907.04242 . Kod Bibcode : 2019Entrp..21..869B . doi : 10.3390/e21090869 . S2CID  195848308 .
• Cilibrasi, R.; Vitányi, Paweł (2005). „Klastrowanie przez kompresję” (PDF) . Transakcje IEEE dotyczące teorii informacji . 51 (4): 1523–1545. arXiv : cs/0312044 . doi : 10.1109/TIT.2005.844059 . S2CID  911 .
• Cronbach, LJ (1954). „O nieracjonalnym stosowaniu środków informacyjnych w psychologii”. W Quastler, Henry (red.). Teoria informacji w psychologii: problemy i metody . Glencoe, Illinois: Bezpłatna prasa. s. 14–30.
• Coombs, CH; Dawes, RM; Tversky, A. (1970). Psychologia matematyczna: podstawowe wprowadzenie . Englewood Cliffs, New Jersey: Prentice-Hall.
• Kościół, Kenneth Ward; Hanks, Patrick (1989). „Normy skojarzeń wyrazów, wzajemna informacja i leksykografia” . Materiały z 27. dorocznego spotkania Stowarzyszenia Lingwistyki Komputerowej : 76-83. doi : 10.3115/981623.981633 .
• Gel'fand, IM; Jaglom, AM (1957). „Obliczanie ilości informacji o funkcji losowej zawartej w innej takiej funkcji”. Tłumaczenia Amerykańskiego Towarzystwa Matematycznego . Seria 2. 12 : 199-246. doi : 10.1090/trans2/012/09 . Numer ISBN 9780821817124.Angielskie tłumaczenie oryginału w Uspekhi Matematicheskikh Nauk 12  (1): 3-52.
• Guiasu, Silviu (1977). Teoria informacji z aplikacjami . McGraw-Hill, Nowy Jork. Numer ISBN 978-0-07-025109-0.
• Li, Ming; Vitányi, Paul (luty 1997). Wprowadzenie do złożoności Kołmogorowa i jej zastosowań . Nowy Jork: Springer-Verlag . Numer ISBN 978-0-387-94868-3.
• Śluza, GR (1970). „Identyfikacja i forma wielowymiarowej przestrzeni dyskryminacji”. Dziennik Psychologii Eksperymentalnej . 85 (1): 1-10. doi : 10.1037/h0029508 . PMID  5458322 .
• Davida JC MacKaya. Teoria informacji, wnioskowanie i algorytmy uczenia Cambridge: Cambridge University Press, 2003. ISBN  0-521-64298-1 (dostępny bezpłatnie online)
• Haghighat, MBA; Aghagolzadeh, A.; Seyedarabi, H. (2011). „A non-referencyjna metryka fuzji obrazu oparta na wzajemnych informacjach o cechach obrazu”. Komputery i elektrotechnika . 37 (5): 744–756. doi : 10.1016/j.compeleceng.2011.07.012 .
• Athanasios Papoulis . Prawdopodobieństwo, zmienne losowe i procesy stochastyczne , wydanie drugie. New York: McGraw-Hill, 1984. (Patrz rozdział 15.)
• Witten, Ian H. i Frank, Eibe (2005). Eksploracja danych: praktyczne narzędzia i techniki uczenia maszynowego . Morgana Kaufmanna, Amsterdam. Numer ISBN 978-0-12-374856-0.
• Peng, HC; Long, F. i Ding, C. (2005). "Wybór funkcji na podstawie wzajemnych informacji: kryteria maksymalnej zależności, maksymalnej istotności i minimalnej redundancji" . Transakcje IEEE dotyczące analizy wzorców i inteligencji maszynowej . 27 (8): 1226–1238. CiteSeerX  10.1.1.63.5765 . doi : 10.1109/tpami.2005.159 . PMID  16119262 . S2CID  206764015 .
• Andre S. Ribeiro; Stuarta A. Kauffmana; Jason Lloyd-Cena; Bjorn Samuelsson i Joshua Socolar (2008). „Wzajemne informacje w losowych modelach logicznych sieci regulacyjnych”. Przegląd fizyczny E . 77 (1): 011901. arXiv : 0707.3642 . Kod bib : 2008PhRvE..77a1901R . doi : 10.1103/physreve.77.011901 . PMID  18351870 . S2CID  15232112 .
• Studnie, WM III; Altówka, P.; Atsumi, H.; Nakajima S.; Kikinis, R. (1996). „Multimodalna rejestracja wolumenu poprzez maksymalizację wzajemnej informacji” (PDF) . Analiza obrazu medycznego . 1 (1): 35–51. doi : 10.1016/S1361-8415(01)80004-9 . PMID  9873920 . Zarchiwizowane z oryginału (PDF) dnia 2008-09-06 . Źródło 2010-08-05 .
• Pandey, Biswajit; Sarkar, Suman (2017). „Ile galaktyka wie o swoim środowisku wielkoskalowym?: Perspektywa teorii informacji”. Miesięczne zawiadomienia o listach Królewskiego Towarzystwa Astronomicznego . 467 (1): L6. arXiv : 1611.00283 . Kod Bibcode : 2017MNRAS.467L...6P . doi : 10.1093/mnrasl/slw250 . S2CID  119095496 .