Info-metryki - Info-metrics

Info-metryki jest interdyscyplinarne podejście do modelowania naukowego , wnioskowania i efektywnego przetwarzania informacji . Jest to nauka modelowania, rozumowania i wnioskowania w warunkach ciągnienia hałaśliwym i ograniczonych informacji. Z punktu widzenia nauki, te ramy jest na skrzyżowaniu teorii informacji , metod statystycznych wnioskowania, matematyki stosowanej , informatyki , ekonometrii , teorii złożoności , analizy decyzji , modelowania oraz filozofii nauki .

Info-Metryki zapewnia ograniczonego optymalizacji ram do walki pod określony lub źle stawiane problemy - problemy tam, gdzie nie jest wystarczające informacje do znalezienia unikalne rozwiązanie. Takie problemy są bardzo powszechne we wszystkich nauk: dostępna informacja jest niepełna , ograniczona, hałaśliwe i niepewne . Info-metryki jest przydatna do modelowania , przetwarzania informacji , teorii budynku i wnioskowania problemów w całym spektrum naukowych. Ramy info-Metryki mogą być również wykorzystywane do testowania hipotezy o konkurencyjnych teorii lub mechanizmów przyczynowych .

Historia

Info-Metryki ewoluowała od klasycznego maksymalnej entropii formalizmu, który opiera się na pracy Shannon . Wczesne składki były głównie w naturalnych i matematycznych / nauk statystycznych. Od połowy 1980 roku, a zwłaszcza w połowie 1990 maksymalna entropia podejście zostało uogólnione i rozszerzony obsłużyć większą klasę problemów w dziedzinie nauk społecznych i behawioralnych, zwłaszcza dla złożonych problemów i danych. Słowo „info-metryki” został wymyślony w 2009 roku przez Amos Golan, tuż przed interdyscyplinarny Info-Metrics Instytut został otwarty.

wstępne definicje

Rozważmy zmienną losową , która może doprowadzić do jednej z K odmiennych rezultatów. Prawdopodobieństwo każdego rezultatu jest za . Tak więc, to K wymiarową rozkład prawdopodobieństwa, określone przez tak, że i . Zdefiniuj informacyjną zawartość pojedynczego wyniku być (np Shannon). Obserwację wyników w ogonach rozkładu (rzadki przypadek) zapewnia znacznie więcej informacji niż obserwowanie innego, bardziej prawdopodobny wynik. Entropia jest oczekiwana treść informacji o wynikach zmiennej losowej X , której rozkład prawdopodobieństwa jest P : ${\ Textstyle X}$ ${\ Textstyle p_ {k}}$${\ Textstyle x_ {k}}$${\ P_ textstyle {k} = P (x_ {k})}$${\ Textstyle k = 1,2, \, k} ldots$${\ Textstyle P}$${\ Textstyle X}$${\ Displaystyle P_ {k} \ geq 0}$${\ Suma textstyle \ _ {k} P_ {k} = 1}$${\ Textstyle x_ {k}}$${\ Textstyle H (x_ {k}) = h (p_ {k}) = \ _ log {2} (1 / p_ {k})}$

$${\ Displaystyle H (P) = \ suma _ {k = 1} ^ {k} P_ {k} \ log _ {2} \ lewo ({\ Frac {1} {p_ {k}}} \ prawej) = - \ suma _ {k = 1} ^ {k} P_ {k} \ log _ {2} (p_ {k}) = \ OperatorName {E} \ lewo [\ log _ {2} \ lewo ({\ Frac {1} P {(X)}} \ prawej) \ prawo]}$$

Tutaj , jeśli i to oczekiwanie operator. ${\ Displaystyle P_ {k} \ _ log {2} (p_ {k}) \ 0} równoważnika$${\ Displaystyle P_ {k} = 0}$${\ Displaystyle \ OperatorName {E}}$

Podstawowym problemem info-metryki

Rozważ problem modelowania i wnioskowania niedotrzymanego rozkład prawdopodobieństwa jakiegoś K -wymiarowej zmiennej losowej dyskretnej danego prostu średnia (wartość oczekiwana) tej zmiennej. Wiemy również, że prawdopodobieństwa są nieujemne i znormalizowane (tj sumują się do dokładnie 1). Dla wszystkich K  > 2 problem jest underdetermined. W ramach info-metryki, rozwiązaniem jest maksymalizacja entropii zmiennej losowej zastrzeżeniem dwóch ograniczeń: średnia i normalizacji. Daje to zwykle roztwór maksymalnej entropii. Rozwiązania tego problemu może być rozszerzony i uogólnić na kilka sposobów. Po pierwsze, można użyć innego entropię zamiast entropii Shannona. Po drugie, samo podejście może być stosowany do ciągłych zmiennych losowych, dla wszystkich typów modeli warunkowych (np regresji, nierówności i modeli nieliniowych), a dla wielu ograniczeń. Po trzecie, priors mogą być włączone w ramach tej współpracy. Po czwarte, sam zrąb może być rozszerzona, aby pomieścić większe niepewności: niepewność co do wartości obserwowanych i / lub niepewności co do modelu. Ostatnio, te same podstawowe ramy mogą być wykorzystane do opracowania nowych modeli / Teorie, zweryfikować te modele z wykorzystaniem wszystkich dostępnych informacji i testowania hipotez statystycznych dotyczących modelu.

Przykłady

Sześciościenne

Wnioskowanie na podstawie informacji wynikających z powtarzających niezależnych eksperymentów.

Poniższy przykład nadana Boltzmanna i dalej przez popularyzacji Jaynesa . Rozważmy sześcioboczny matrycy , gdzie rzucając matrycy jest zdarzenie i różne efekty są liczbami od 1 do 6 w górnej powierzchni matrycy . Eksperyment jest niezależne powtórzenia rzucając tą samą matrycę . Załóżmy, że tylko obserwować empiryczną wartość średnią, y, z N rzutów z sześciu jednostronnej matrycy . Biorąc pod uwagę, że informacje, chcesz wnioskować prawdopodobieństwa, że dana wartość twarzy pojawi się w następnym rzucie z matrycy . Wiesz także, że suma prawdopodobieństw musi wynosić 1. Maksymalizacja entropii (i przy użyciu bazy dziennika 2) Z zastrzeżeniem tych dwóch ograniczeń (średnia i normalizacja) daje najbardziej nieświadomych rozwiązanie.

$${\ Displaystyle {\ rozpocząć {wyrównane} i {\ underset {\ {p \}} {\ tekst {maksymalizacji}}} && H (\ mathbf {s}) = - \ suma _ {k = 1} ^ {6} p_ {k} \ _ log {2} (p_ {k}) {\\ i \ tekst {przedmiotem}} && \ suma _ {k} P_ {k} x_ {k} = {y \ {i} tekst } \ suma _ {k} P_ {k} = 1 \ koniec {wyrównane}}}$$

dla i . Rozwiązaniem jest ${\ Textstyle x_ K} = {k}$${\ Textstyle k = 1,2, \ ldots, 6}$

$${\ Displaystyle {\ widehat {t}} _ {k} = {\ Frac {2 ^ {- {\ widehat {\ N}} x_ {k}}} {\ suma _ {k = 1} ^ {6} ^ {2 - {\ widehat {\ N}} x_ {k}}}} \ równoważnika {\ Frac {2 ^ {- \ N x_ {k}}} {\ omega}}}$$

gdzie to wywnioskować prawdopodobieństwo przypadku , jest wywnioskowaną mnożników Lagrange'a związane ze średnim ograniczenia i jest podział funkcji (normalizacji). Jeśli jest to sprawiedliwy umiera ze średnią 3,5 można oczekiwać, że wszystkie twarze są jednakowo prawdopodobne i prawdopodobieństwa są równe. To jest to, co daje maksymalny rozwiązanie entropia. Jeżeli matryca jest nieuczciwy (lub załadowane) o średniej 4, otrzymany roztwór maksymalna entropii będzie . Dla porównania, co minimalizuje kryterium najmniejszych kwadratów zamiast maksymalizacji plonów entropii . ${\ Textstyle {\ widehat {t}} _ {k}}$${\ Textstyle k}$${\ Textstyle {\ widehat {\ N}}}$${\ Textstyle \ omega}$${\ P_ textstyle {k} = (0.103,0.123,0.146,0.174,0.207,0.247)}$${\ Textstyle \ lewo (\ _ suma k = {1} ^ {6} P_ {k} ^ {2} \ prawej)}$${\ Textstyle p_ {k} (LS) = (0.095,0.124,0.152,0.181,0.210,0.238)}$

Niektóre przykłady interdyscyplinarne

Prognoza opady : Korzystanie z oczekiwaną codziennie opadów (średnia arytmetyczna), maksymalna entropia ramy mogą być używane do wnioskować i prognozować codzienny rozkład opadów.

Zarządzanie portfelem : Załóżmy, że to menedżer portfela, który musi przeznaczyć część aktywów lub przypisać wagi do różnych portfeli aktywów, przy uwzględnieniu ograniczeń i preferencji inwestora. Korzystanie z tych preferencji i ograniczeń, a także obserwowany informacje, takie jak rynek oznaczać powrót i kowariancji, każdego składnika na pewien okres czasu, ramy entropia maksymalizacja mogą być wykorzystywane w celu znalezienia optymalnych ciężarów portfelowych. W tym przypadku, entropia portfela przedstawia swoją różnorodność. Ramy te mogą być modyfikowane w celu włączenia innych ograniczeń, takich jak wariancji minimalnej, maksymalnej różnorodności itp Model ten zakłada nierówności i może być dalej uogólnionej zawierać krótkiej sprzedaży. Więcej takich przykładów i powiązany kod można znaleźć na

Obszerny wykaz prac związanych z info-metryk można znaleźć tutaj: http://info-metrics.org/bibliography.html

Zobacz też

• teoria informacji
• Entropia
• Zasada maksymalnej entropii
• Wnioskowanie
• wnioskowanie statystyczne
• ograniczane optymalizacji

Uwagi

Referencje

Dalsza lektura

Klasyka

• Rudolfa Clausiusa . „Xi. Od charakteru ruchu, który nazywamy ciepło”. London, Edynburg, Dublin i Philosophical Magazine i Journal of Science , 14 (91): 108-127, 1857.
• Ludwiga Boltzmanna. „Dodatkowe badania równowagi termicznej cząsteczek gazowych (DAS by poznać Studien über wärmegleichgewicht unter gasmolekülen)”. Sitzungsberichte der Akademie der Wissenschaften, Mathematische-Naturwissenschaftliche Klasse , strony 275-370, 1872.
• JW Gibbs . Podstawowe zasady w mechanice statystycznej . (New Haven, CT: Yale University Press), 1902.
• CE Shannon . "Matematyczna teoria komunikacji". Bell techniczna systemu Journal , 27 : 379-423, 1948.
• Y. Alhassid i RD Levine. „Eksperymentalne i nieodłączne niepewności w informacyjnym teoretycznego podejścia”. Chemical Physics Letters , 73 (1): 16-20, 1980.
• RB Ash. Teoria informacji . Interscience, New York, 1965.
• Caticha. Względna Entropia i Wnioskowanie indukcyjne . 2004.
• Caticha. „Wykłady o prawdopodobieństwie, entropii i fizyki statystycznej”. MAXENT, Sao Paulo, Brazylia , 2008.
• Jan M. Van Campenhout Przykryć i Thomas M. „Maksymalna entropia i prawdopodobieństwo warunkowe”. IEEE Transactions on Information Theory , IT-27, nr 4, 1981.
• I. Csiszár. „Dlaczego najmniejszych kwadratów i maksymalna entropia? Aximomatic podejście do wnioskowania do liniowego zagadnienia odwrotnego”. Annals of Statistics , 19 : 2032-2066, 1991.
• David Donoho, Hossein Kakavand i James Mammen. „Najprostszym rozwiązaniem do underdetermined układu równań liniowych”. W teorii informacji 2006 IEEE International Symposium on , strony 1924-1928. IEEE 2007.

Podstawowe książki i monografie naukowe

• Golan, Amos. Podstawy Info-metryk: Modelowanie, dedukcyjnego i niepełnych informacji . Oxford University Press, 2018.
• Golan. „Informacja i entropia ekonometria - przegląd i synteza”. Fundacje i trendy w ekonometrii , 2 (1-2): 1-145 2008.
• RD Levine M. Tribus. Maksymalna Entropia formalizm . MIT Press, Cambridge, MA 1979.
• JN Kapur. Maksymalnie modele Entropy w Nauce i Inżynierii . Wiley, 1993.
• J. Harte. Maksymalna Entropia i ekologia: Teoria obfitości, dystrybucja i Energetyki . U Oxford Press, 2011.
• A. Golan, G. sędzia i D. Miller. Maksymalna ekonometria entropia: Mocna oszacowanie z ograniczonymi danymi . John Wiley & Sons, 1996.
• ET Jaynes . Rachunek prawdopodobieństwa: Logika Nauki . Cambridge University Press, 2003.

Inne aplikacje reprezentatywnych

• JR Banavar, A. Maritan i I. Volkov. „Wnioski z zasadą maksymalnej entropii: od fizyki do ekologii”. Journal of Physics-skondensowanej , 22 (6), 2010.
• Anil K. Bera i Y. Sung Park. „Optymalna dywersyfikacja portfela przy maksymalnej zasadę entropii”. Ekonometryczne Recenzje , 484-512, 2008: 27 (4-6).
• Bhati B. Buyuksahin, A. Golan. „Rekonstrukcja Zdjęcia: An informacje teoretyczne podejście”. Amerykańskie Stowarzyszenie statystyczne Proceedings 2005.
• Peter W Buchen i Michael Kelly. „Maksymalna dystrybucja entropia składnika aktywów wynika z cen opcji”. Journal of Financial i ilościowa analiza , 31 (01): 143-159, 1996.
• Randall C Campbell R Carter Hill. „Przewidywanie MULTINOMIAL wyborów z wykorzystaniem maksymalnej entropii”. Ekonomika Letters , 64 (3): 263-269, 1999.
• Ariel Caticha i Amos Golan. „An entropii ramy modelowania gospodarki”. Physica A: Mechanika statystyczna i jej zastosowań , 408: 149-163, 2014.
• Marsha Courchane Amos Golan i David Nickerson. „Szacowanie i ocena dyskryminacji pożyczki: Podejście informacyjnej”. Obudowa czop Research , 11 (1): 67-90, 2000.
• TSUKASA Fujiwara i Yoshio Miyahara. „Minimalne środki entropia MARTINGALE geometryczne procesów opłata”. Finanse i Stochastics , 7 (4): 509-531, 2003.

Marco Frittelli. „Minimalna miara entropii martingale i problem wycena w niepełnych rynkach”. Matematyka finansowa , 10 (1): 39-52, 2000.

• D. A. Glennon i Golan. „To Markov model upadłości banku oszacowano wykorzystując informacje teoretyczne e-banków podejścia”. Raport skarbu USA, 2003.
• A. Golan. „Wieloczynnikowej teoria stochastycznego rozkładu wielkości firm z empirycznych dowodów”. Postępy w ekonometrii , 10: 1-46, 1994.
• A. Golan. „Modcomp model efektu kompensacyjnego w sprawie zatrzymywania personelu - informacja teoretyczne podejście”. Raport, US Navy, luty 2003.

Amos Golan i Volker dawki. „To uogólnione informacje teoretyczne podejście do rekonstrukcji tomograficznych”. Journal of Physics A: Mathematical and General , 34 (7): 1271, 2001.

• Barta Haegeman i Rampala S Etienne. „Maksymalizacja entropii i przestrzenny rozkład gatunków”. The American Naturalist , 175 (4): E74-E90, 2010.
• UV Toussaint, A. Golan i V. Dawka i „Maximum Entropy Dekompozycja Czteroosobowy widma masowe.” Journal of Vacuum Science and Technology 22 (2), Marzec / Kwiecień 2004, 401-406
• Golan A. i D. Volker, „uogólniony Informacja Teoretyczne podejście do tomograficznych Odbudowy”, J. of Physics A: matematyczne i ogólne (2001) 1271/83.

Linki zewnętrzne

• "Info-Metrics Instytut: Informacja-teoretyczna analiza danych i Exposition | American University, Washington, DC" american.edu . Źródło 2017-11-07 .
• „Centrum Nauk Informacyjnych NSF STC” . soihub.org . Źródło 2017-11-07 .
• http://info-metrics.org/