Geometria informacji - Information geometry
Geometria informacyjna to interdyscyplinarna dziedzina, która stosuje techniki geometrii różniczkowej do badania teorii prawdopodobieństwa i statystyki . Bada rozmaitości statystyczne , które są rozmaitościami riemannowskimi, których punkty odpowiadają rozkładom prawdopodobieństwa .
Wprowadzenie
Historycznie rzecz biorąc, geometrię informacji można prześledzić wstecz do prac CR Rao , który jako pierwszy potraktował macierz Fishera jako metrykę riemannowską . Współczesna teoria jest w dużej mierze zasługą Shun'ichi Amari , którego praca miała ogromny wpływ na rozwój tej dziedziny.
Klasycznie, geometria informacji rozważała sparametryzowany model statystyczny jako rozmaitość riemannowską . W przypadku takich modeli istnieje naturalny wybór metryki riemannowskiej, znanej jako metryka informacyjna Fishera . W szczególnym przypadku, gdy model statystyczny jest rodziną wykładniczą , istnieje możliwość indukowania rozmaitości statystycznej za pomocą metryki Hesja (tj. Metryki Riemannowskiej określonej przez potencjał funkcji wypukłej). W tym przypadku rozmaitość w naturalny sposób dziedziczy dwa płaskie połączenia afiniczne , a także kanoniczną dywergencję Bregmana . Historycznie rzecz biorąc, znaczna część pracy była poświęcona badaniu geometrii powiązanej z tymi przykładami. We współczesnych warunkach geometria informacji ma zastosowanie do znacznie szerszego kontekstu, w tym rodzin niewykładniczych, statystyk nieparametrycznych , a nawet abstrakcyjnych rozmaitości statystycznych, które nie zostały wywołane przez znany model statystyczny. Wyniki łączą techniki z teorii informacji , afinicznej geometrii różniczkowej , analizy wypukłej i wielu innych dziedzin.
Standardowe odniesienia w tej dziedzinie to książka Shun'ichi Amari i Hiroshi Nagaoki, Methods of Information Geometry , oraz nowsza książka Nihat Ay i innych. Delikatne wprowadzenie zostało przedstawione w ankiecie przez Franka Nielsena. W 2018 roku ukazało się czasopismo Information Geometry poświęcone tej dziedzinie.
Współtwórcy
Historia geometrii informacji wiąże się z odkryciami co najmniej następujących osób i wielu innych.
- Ronald Fisher
- Harald Cramér
- Calyampudi Radhakrishna Rao
- Harold Jeffreys
- Solomon Kullback
- Jean-Louis Shirt
- Richard Leibler
- Claude Shannon
- Imre Csiszár
- NN Cencov (również napisane jako Chentsov)
- Bradley Efron
- Shun'ichi Amari
- Ole Barndorff-Nielsen
- Frank Nielsen
- Damiano Brigo
- AWF Edwards
- Grant Hillier
- Kees Jan Van Garderen
Aplikacje
Geometria informacji jako dziedzina interdyscyplinarna znalazła wiele zastosowań.
Oto niepełna lista:
- Wnioskowanie statystyczne
- Szeregi czasowe i układy liniowe
- Systemy kwantowe
- Sieci neuronowe
- Nauczanie maszynowe
- Mechanika statystyczna
- Biologia
- Statystyka
- Finanse matematyczne
Zobacz też
Bibliografia
Dalsza lektura
- Amari, Shun'ichi (1985). Metody różnicowo-geometryczne w statystyce . Notatki do wykładów w statystykach. Berlin: Springer-Verlag. ISBN 0-387-96056-2 .
- Murray, M .; Rice, J. (1993). Geometria i statystyka różniczkowa . Monografie dotyczące statystyki i prawdopodobieństwa stosowanego. 48 . Chapman i Hall . ISBN 0-412-39860-5 .
- Kass, RE; Vos, PW (1997). Geometryczne podstawy wnioskowania asymptotycznego . Szeregi prawdopodobieństwa i statystyki. Wiley. ISBN 0-471-82668-5 .
- Marriott, Paul; Salmon, Mark, wyd. (2000). Zastosowania geometrii różniczkowej w ekonometrii . Cambridge University Press. ISBN 0-521-65116-6 .
Zewnętrzne linki
- [1] Czasopismo Information Geometry autorstwa Springer
- Informacje Przegląd geometrii autorstwa Cosma Rohilla Shalizi, lipiec 2010
- Notatki Information Geometry , John Baez , listopad 2012
- Geometria informacyjna dla sieci neuronowych (pdf) , Daniel Wagenaar