Geometria informacji - Information geometry

Zbiór wszystkich rozkładów normalnych tworzy rozmaitość statystyczną o geometrii hiperbolicznej .

Geometria informacyjna to interdyscyplinarna dziedzina, która stosuje techniki geometrii różniczkowej do badania teorii prawdopodobieństwa i statystyki . Bada rozmaitości statystyczne , które są rozmaitościami riemannowskimi, których punkty odpowiadają rozkładom prawdopodobieństwa .

Wprowadzenie

Historycznie rzecz biorąc, geometrię informacji można prześledzić wstecz do prac CR Rao , który jako pierwszy potraktował macierz Fishera jako metrykę riemannowską . Współczesna teoria jest w dużej mierze zasługą Shun'ichi Amari , którego praca miała ogromny wpływ na rozwój tej dziedziny.

Klasycznie, geometria informacji rozważała sparametryzowany model statystyczny jako rozmaitość riemannowską . W przypadku takich modeli istnieje naturalny wybór metryki riemannowskiej, znanej jako metryka informacyjna Fishera . W szczególnym przypadku, gdy model statystyczny jest rodziną wykładniczą , istnieje możliwość indukowania rozmaitości statystycznej za pomocą metryki Hesja (tj. Metryki Riemannowskiej określonej przez potencjał funkcji wypukłej). W tym przypadku rozmaitość w naturalny sposób dziedziczy dwa płaskie połączenia afiniczne , a także kanoniczną dywergencję Bregmana . Historycznie rzecz biorąc, znaczna część pracy była poświęcona badaniu geometrii powiązanej z tymi przykładami. We współczesnych warunkach geometria informacji ma zastosowanie do znacznie szerszego kontekstu, w tym rodzin niewykładniczych, statystyk nieparametrycznych , a nawet abstrakcyjnych rozmaitości statystycznych, które nie zostały wywołane przez znany model statystyczny. Wyniki łączą techniki z teorii informacji , afinicznej geometrii różniczkowej , analizy wypukłej i wielu innych dziedzin.

Standardowe odniesienia w tej dziedzinie to książka Shun'ichi Amari i Hiroshi Nagaoki, Methods of Information Geometry , oraz nowsza książka Nihat Ay i innych. Delikatne wprowadzenie zostało przedstawione w ankiecie przez Franka Nielsena. W 2018 roku ukazało się czasopismo Information Geometry poświęcone tej dziedzinie.

Współtwórcy

Historia geometrii informacji wiąże się z odkryciami co najmniej następujących osób i wielu innych.

Aplikacje

Geometria informacji jako dziedzina interdyscyplinarna znalazła wiele zastosowań.

Oto niepełna lista:

  • Wnioskowanie statystyczne
  • Szeregi czasowe i układy liniowe
  • Systemy kwantowe
  • Sieci neuronowe
  • Nauczanie maszynowe
  • Mechanika statystyczna
  • Biologia
  • Statystyka
  • Finanse matematyczne

Zobacz też

Bibliografia

Dalsza lektura

  • Amari, Shun'ichi (1985). Metody różnicowo-geometryczne w statystyce . Notatki do wykładów w statystykach. Berlin: Springer-Verlag. ISBN   0-387-96056-2 .
  • Murray, M .; Rice, J. (1993). Geometria i statystyka różniczkowa . Monografie dotyczące statystyki i prawdopodobieństwa stosowanego. 48 . Chapman i Hall . ISBN   0-412-39860-5 .
  • Kass, RE; Vos, PW (1997). Geometryczne podstawy wnioskowania asymptotycznego . Szeregi prawdopodobieństwa i statystyki. Wiley. ISBN   0-471-82668-5 .
  • Marriott, Paul; Salmon, Mark, wyd. (2000). Zastosowania geometrii różniczkowej w ekonometrii . Cambridge University Press. ISBN   0-521-65116-6 .

Zewnętrzne linki