Zasada darmowej energii - Free energy principle

Zasada darmowej energii jest formalnym stwierdzeniem, które wyjaśnia, w jaki sposób żywe i nieożywione systemy pozostają w nierównowagowych stanach ustalonych, ograniczając się do ograniczonej liczby stanów. Ustala, że ​​układy minimalizują funkcję energii swobodnej swoich stanów wewnętrznych (nie mylić z termodynamiczną energią swobodną ), co pociąga za sobą przekonania o ukrytych stanach w ich otoczeniu. Ukryta minimalizacja energii swobodnej jest formalnie związana z wariacyjnymi metodami bayesowskimi i została pierwotnie wprowadzona przez Karla Fristona jako wyjaśnienie ucieleśnionej percepcji w neuronauce , gdzie znana jest również jako aktywne wnioskowanie .

Zasada darmowej energii wyjaśnia istnienie danego systemu, modelując go za pomocą koca Markowa, który stara się zminimalizować różnicę między ich modelem świata a zmysłem i związanym z nim postrzeganiem . Różnicę tę można określić jako „niespodziankę” i jest ona minimalizowana poprzez ciągłe korygowanie światowego modelu systemu. Jako taka zasada opiera się na bayesowskiej koncepcji mózgu jako „silnika wnioskowania”. Friston dodał drugą drogę do minimalizacji: działanie. Aktywnie zmieniając świat w stan oczekiwany, systemy mogą również minimalizować darmową energię systemu. Friston zakłada, że ​​jest to zasada wszystkich reakcji biologicznych. Friston wierzy również, że jego zasada dotyczy zaburzeń psychicznych oraz sztucznej inteligencji . Implementacje AI oparte na zasadzie aktywnego wnioskowania wykazały przewagę nad innymi metodami.

Zasadę darmowej energii skrytykowano za to, że jest bardzo trudna do zrozumienia nawet dla ekspertów. Dyskusje na temat zasady były również krytykowane jako odwoływanie się do założeń metafizycznych daleko odbiegających od sprawdzalnych przewidywań naukowych, co czyni zasadę niefalsyfikowalną. W wywiadzie z 2018 r. Friston przyznał, że zasada swobodnej energii nie jest właściwie falsyfikowalna : „zasada swobodnej energii jest tym, czym jest — zasadą . Podobnie jak zasada stacjonarnego działania Hamiltona , nie można jej sfalsyfikować. Nie można jej obalić. niewiele można z tym zrobić, chyba że zapytasz, czy mierzalne systemy są zgodne z tą zasadą”.

Tło

Pogląd, że samoorganizujące się systemy biologiczne – takie jak komórka lub mózg – można rozumieć jako minimalizację wariacji swobodnej energii, opiera się na pracy Helmholtza nad nieświadomym wnioskowaniem i późniejszymi metodami leczenia w psychologii i uczeniu maszynowym. Zmienna energia swobodna jest funkcją obserwacji i gęstości prawdopodobieństwa nad ich ukrytymi przyczynami. Ta gęstość zmienności jest definiowana w odniesieniu do modelu probabilistycznego, który generuje przewidywane obserwacje z hipotetycznych przyczyn. W tym ustawieniu energia swobodna zapewnia przybliżenie do dowodów modelu bayesowskiego . Dlatego jego minimalizację można postrzegać jako proces wnioskowania bayesowskiego. Kiedy system aktywnie prowadzi obserwacje, aby zminimalizować energię swobodną, ​​pośrednio wykonuje aktywne wnioskowanie i maksymalizuje dowody na swój model świata.

Jednak energia swobodna jest również górną granicą samoinformacji o wynikach, gdzie długoterminowa średnia zaskoczenia to entropia. Oznacza to, że jeśli system działa w celu zminimalizowania energii swobodnej, domyślnie umieści górną granicę entropii wyników – lub stanów sensorycznych – które pobiera.

Związek z innymi teoriami

Aktywne wnioskowanie jest ściśle związane z twierdzeniem o dobrym regulatorze i powiązanymi opisami samoorganizacji , takimi jak samoorganizacja , tworzenie wzorców , autopoieza i praktopoeza . Odnosi się do tematów rozważanych w cybernetyce , synergii i ucieleśnionym poznaniu . Ponieważ energię swobodną można wyrazić jako oczekiwaną energię obserwacji przy gęstości wariacyjnej minus jej entropia, jest ona również powiązana z zasadą maksymalnej entropii . Wreszcie, ponieważ średnia czasowa energii jest działaniem, zasada minimalnej wariacyjnej energii swobodnej jest zasadą najmniejszego działania .

Definicja

Definicja (sformułowanie ciągłe): Aktywne wnioskowanie opiera się na krotce${\displaystyle (\Omega,\psi,S,A,R,q,p)}$

• Przestrzeń próbna – z której losowane są fluktuacje${\ Displaystyle \ Omega}$${\ Displaystyle \ omega \ w \ omega}$
• Stany ukryte lub zewnętrzne – wywołujące stany czuciowe i zależne od działania${\ Displaystyle \ psi: \ psi \ razy A \ razy \ Omega \ do \ mathbb {R}}$
• Stany zmysłowe – probabilistyczne odwzorowanie stanów działania i stanów ukrytych${\ Displaystyle S: \ psi \ razy A \ razy \ Omega \ do \ mathbb {R}}$
• Działanie – to zależy od stanów czuciowych i wewnętrznych${\ Displaystyle A: S \ razy R \ do \ mathbb {R}}$
• Stany wewnętrzne – wywołujące działanie i zależne od stanów zmysłowych${\ Displaystyle R: R \ razy S \ do \ mathbb {R}}$
• Gęstość generatywna – nad stanami zmysłowymi i ukrytymi w modelu generatywnym ${\ Displaystyle p (s, \ psi \ średni m)}$${\ Displaystyle m}$
• Gęstość wariacyjna – po stanach ukrytych parametryzowanych stanami wewnętrznymi${\ Displaystyle q (\ psi \ średni \ mu)}$${\ Displaystyle \ psi \ w \ psi}$${\ Displaystyle \ mu \ w R}$

Działanie i percepcja

Celem jest maksymalizacja dowodów modelowych lub minimalizacja zaskoczenia . Na ogół wiąże się to z nieusuwalną marginalizacją nad stanami ukrytymi, więc zaskoczenie jest zastępowane przez górną wariacyjną granicę energii swobodnej. Oznacza to jednak, że stany wewnętrzne muszą również minimalizować energię swobodną, ​​ponieważ energia swobodna jest funkcją stanów czuciowych i wewnętrznych: ${\displaystyle p(s\mid m)}$${\displaystyle -\log p(s\mid m)}$

${\ Displaystyle a (t) = {\ underset {a} {\ operatorname {arg \ min}}} \ {F (s (t), \ mu (t)) \}}$

${\ Displaystyle \ mu (t) = {\ underset {\ mu} {\ operatorname {arg \, min}}} \ {F (s (t), \ mu )) \}}$

${\ Displaystyle {\ underset {\ operatorname {wolna energia} }{\ underbrace {F (s, \ mu)}}} = {\ underset {\ operatorname {energia}} {\ underbrace {E_ {q} [- \log p(s,\psi \mid m)]} }}-{\underset {\mathrm {entropia} }{\underbrace {H[q(\psi \mid \mu )]} }}={\underset {\mathrm {niespodzianka} }{\underbrace {-\log p(s\mid m)} }}+{\underset {\mathrm {rozbieżność} }{\underbrace {D_{\mathrm {KL} }[q( \psi \mid \mu )\parallel p(\psi \mid s,m)]} }\geq {\underset {\mathrm {niespodzianka} }{\underbrace {-\log p(s\mid m)} }}}$

Powoduje to podwójną minimalizację w odniesieniu do działania i stanów wewnętrznych, które odpowiadają odpowiednio działaniu i percepcji.

Minimalizacja darmowej energii

Minimalizacja darmowej energii i samoorganizacja

Zaproponowano minimalizację energii swobodnej jako cechę charakterystyczną systemów samoorganizujących się, gdy są one oddane jako losowe systemy dynamiczne . To sformułowanie opiera się na kocu Markowa (składającym się z akcji i stanów zmysłowych), który oddziela stany wewnętrzne i zewnętrzne. Jeśli stany wewnętrzne i działanie minimalizują energię swobodną, ​​to nakładają górną granicę na entropię stanów czuciowych:

${\ Displaystyle \ lim _ {T \ do \ infty} {\ Frac {1} {T}} {\ underset {\ tekst {wolne działanie}} {\ underbrace {\ int _ {0} ^ {T} F (s(t),\mu (t))\,dt} }}\geq \lim _{T\to \infty }{\frac {1}{T}}\int _{0}^{T} {\underset {\text{niespodzianka}}{\underbrace {-\log p(s(t)\mid m)} }}\,dt=H[p(s\mid m)]}$

Dzieje się tak, ponieważ – zgodnie z założeniami ergodycznymi – długookresowa średnia zaskoczenia to entropia. Wiązanie to opiera się naturalnej tendencji do nieporządku – rodzaju związanego z drugą zasadą termodynamiki i twierdzeniem o fluktuacji . Jednak sformułowanie jednoczącej zasady dla nauk przyrodniczych w zakresie pojęć z fizyki statystycznej, takich jak losowy układ dynamiczny, nierównowagowy stan ustalony i ergodyczność, nakłada znaczne ograniczenia na teoretyczne i empiryczne badanie układów biologicznych, z ryzykiem przesłonięcia wszystkich cechy, które czynią systemy biologiczne interesującymi rodzajami samoorganizujących się systemów

Minimalizacja energii swobodnej i wnioskowanie bayesowskie

Całe wnioskowanie bayesowskie można ująć w kategoriach minimalizacji energii swobodnej. Gdy energia swobodna jest zminimalizowana w odniesieniu do stanów wewnętrznych, rozbieżność Kullbacka-Leiblera między gęstością wariacyjną i a posteriori nad stanami ukrytymi jest zminimalizowana. Odpowiada to przybliżonemu wnioskowaniu bayesowskiemu – gdy forma gęstości wariacyjnej jest ustalona – i dokładnemu wnioskowaniu bayesowskiemu w przeciwnym razie. Minimalizacja energii swobodnej zapewnia zatem ogólny opis wnioskowania bayesowskiego i filtrowania (np. filtrowanie Kalmana ). Jest również używany w doborze modelu bayesowskiego , gdzie swobodną energię można z pożytkiem rozłożyć na złożoność i dokładność:

${\ Displaystyle {\ underset {\ text {swobodna energia}}{\ underbrace {F (s, \ mu)}}} = {\ underset {\ text {złożoność}}}{\ underbrace {D_ {\ operatorname {KL } }[q(\psi \mid \mu )\parallel p(\psi \mid m)]} }}-{\underset {\mathrm {dokładność} }{\underbrace {E_{q}[\log p( s\mid \psi ,m)]} }}}$

Modele o minimalnej energii swobodnej zapewniają dokładne wyjaśnienie danych w ramach kosztów złożoności (por. brzytwa Ockhama i bardziej formalne podejście do kosztów obliczeniowych). Tutaj złożoność jest rozbieżnością między gęstością wariacyjną a wcześniejszymi przekonaniami o stanach ukrytych (tj. efektywnych stopniach swobody użytych do wyjaśnienia danych).

Minimalizacja swobodnej energii i termodynamika

Zmienna energia swobodna jest funkcjonalnie teoretycznym informacji i różni się od swobodnej energii termodynamicznej (Helmholtza) . Jednak termin złożoności wariacyjnej energii swobodnej dzieli ten sam punkt stały, co energia swobodna Helmholtza (przy założeniu, że układ jest termodynamicznie zamknięty, ale nie izolowany). Dzieje się tak, ponieważ jeśli perturbacje sensoryczne są zawieszone (na odpowiednio długi okres czasu), złożoność jest minimalizowana (ponieważ można zaniedbać dokładność). W tym momencie układ znajduje się w stanie równowagi, a stany wewnętrzne minimalizują energię swobodną Helmholtza, zgodnie z zasadą minimum energii .

Minimalizacja darmowej energii i teoria informacji

Minimalizacja energii swobodnej jest równoważna maksymalizacji wzajemnej informacji między stanami zmysłowymi a stanami wewnętrznymi, które parametryzują gęstość wariacyjną (dla gęstości wariacyjnej o stałej entropii). Wiąże się to minimalizację energii swobodnej z zasadą minimalnej redundancji i powiązanymi zabiegami wykorzystującymi teorię informacji do opisania optymalnego zachowania.

Minimalizacja darmowej energii w neuronauce

Minimalizacja energii swobodnej dostarcza użytecznego sposobu formułowania normatywnych (optymalnych Bayesa) modeli wnioskowania neuronalnego i uczenia się w warunkach niepewności, a zatem zgadza się z hipotezą mózgu Bayesa . Procesy neuronalne opisane przez minimalizację energii swobodnej zależą od natury stanów ukrytych: mogą to być zmienne zależne od czasu, parametry niezmienne w czasie oraz precyzja (odwrotna wariancja lub temperatura) fluktuacji losowych. Minimalizowanie zmiennych, parametrów i precyzji odpowiada odpowiednio wnioskowaniu, uczeniu się i kodowaniu niepewności. ${\ Displaystyle \ psi = X \ razy \ Theta \ razy \ Pi}$

Wnioskowanie percepcyjne i kategoryzacja

Minimalizacja energii swobodnej formalizuje pojęcie nieświadomego wnioskowania w percepcji i dostarcza normatywnej (bayesowskiej) teorii przetwarzania neuronowego. Powiązana teoria procesów dynamiki neuronalnej opiera się na minimalizowaniu energii swobodnej poprzez opadanie gradientowe. Odpowiada to uogólnionemu filtrowaniu bayesowskiemu (gdzie ~ oznacza zmienną w uogólnionych współrzędnych ruchu i jest operatorem macierzy pochodnej): ${\ Displaystyle D}$

${\ Displaystyle {\ kropka {\ tylda {\ mu}}} = D {\ tylda {\ mu}} - \ częściowy _ {\ mu} F (s, \ mu) {\ duży |} _ {\ mu = {\tylda {\mu }}}}$

Zazwyczaj modele generatywne, które definiują energię wolną, są nieliniowe i hierarchiczne (jak hierarchie korowe w mózgu). Szczególne przypadki filtrowania uogólnionego obejmują filtrowanie Kalmana , które formalnie jest odpowiednikiem kodowania predykcyjnego – popularnej metafory przekazywania wiadomości w mózgu. W modelach hierarchicznych kodowanie predykcyjne obejmuje powtarzalną wymianę rosnących (oddolnych) błędów przewidywania i zstępujących (odgórnych) przewidywań, co jest zgodne z anatomią i fizjologią układów czuciowych i motorycznych.

Percepcyjne uczenie się i pamięć

W kodowaniu predykcyjnym optymalizacja parametrów modelu poprzez gradientowe opadanie całki czasowej energii swobodnej (działanie swobodne) redukuje się do plastyczności asocjacyjnej lub Hebbowskiej i jest związana z plastycznością synaptyczną w mózgu.

Percepcyjna precyzja, uwaga i istotność

Optymalizacja parametrów precyzji odpowiada optymalizacji wzmocnienia błędów predykcji (por. wzmocnienie Kalmana). W prawdopodobnych neuronowo implementacjach kodowania predykcyjnego odpowiada to optymalizacji pobudliwości powierzchownych komórek piramidalnych i jest interpretowane jako przyrost uwagi.

Symulacja wyników uzyskanych z zadania uwagi selektywnej przeprowadzonego przez Bayesowskie przeformułowanie SAIM pt. PE-SAIM w środowisku wielu obiektów. Wykresy przedstawiają przebieg czasowy aktywacji FOA oraz dwie jednostki szablonów w sieci wiedzy.

Jeśli chodzi o kontrowersje odgórne i oddolne, które zostały potraktowane jako główny otwarty problem uwagi, model obliczeniowy z powodzeniem zilustrował krążeniowy charakter wzajemności między mechanizmami odgórnymi i oddolnymi. Korzystając z ustalonego modelu emergentnej uwagi, a mianowicie SAIM, autorzy zaproponowali model zwany PE-SAIM, który – w przeciwieństwie do wersji standardowej – podchodzi do selektywnej uwagi z pozycji odgórnej. Model uwzględnia błędy predykcji przekazywania wysyłane na ten sam poziom lub poziom powyżej, aby zminimalizować funkcję energii wskazującą różnicę między danymi a ich przyczyną lub – innymi słowy – między modelem generatywnym a a posteriori. Aby zwiększyć trafność, w swoim modelu uwzględnili również rywalizację neuronalną między bodźcami. Godną uwagi cechą tego modelu jest przeformułowanie funkcji energii swobodnej tylko w zakresie błędów predykcji podczas realizacji zadania:

${\ Displaystyle {\ dfrac {\ częściowy E ^ {całkowita} (Y ^ {VP}, X ^ {SN}, x ^ {CN}, Y ^ {KN})} {\ częściowy y_ {mn} ^ {SN }}}=x_{mn}^{CN}-b^{CN}\varepsilon _{nm}^{CN}+b^{CN}\sum _{k}(\varepsilon _{knm}^{KN })}$

gdzie oznacza całkowitą funkcję energii sieci neuronowych i jest błędem predykcji między modelem generatywnym (przed) i a posteriori zmieniającym się w czasie. Porównanie obu modeli ujawnia zauważalne podobieństwo między ich wynikami, jednocześnie podkreślając niezwykłą rozbieżność, przy czym – w standardowej wersji SAIM – model koncentruje się głównie na połączeniach pobudzających, podczas gdy w PE-SAIM połączenia hamujące są wykorzystany do wnioskowania. Model okazał się również odpowiedni do precyzyjnego przewidywania danych EEG i fMRI uzyskanych z eksperymentów na ludziach. W tym samym duchu Yahya i in. zastosowali również zasadę swobodnej energii, aby zaproponować model obliczeniowy do dopasowywania szablonów w ukrytej selektywnej uwadze wzrokowej, która głównie opiera się na SAIM. Zgodnie z tym badaniem, całkowita energia swobodna całej przestrzeni stanów jest osiągana przez wstawienie odgórnych sygnałów do oryginalnych sieci neuronowych, dzięki czemu uzyskujemy dynamiczny system zawierający zarówno błąd przewidywania w przód, jak i wstecz. ${\ Displaystyle E ^ {ogółem}}$${\ Displaystyle \ varepsilon _ {knm} ^ {KN}}$

Aktywne wnioskowanie

Kiedy schodzenie gradientowe stosuje się do działania , kontrolę motoryczną można rozumieć w kategoriach klasycznych łuków odruchowych, które są zaangażowane przez przewidywania zstępujące (korowo-rdzeniowe). Zapewnia to formalizm, który uogólnia rozwiązanie punktu równowagi – na problem stopni swobody – na trajektorie ruchu. ${\ Displaystyle {\ kropka {a}} = - \ częściowy _ {a} F (s, {\ tylda {\ mu}})}$

Aktywne wnioskowanie i optymalna kontrola

Aktywne wnioskowanie jest związane z optymalną kontrolą poprzez zastąpienie funkcji wartości lub kosztu do przetworzenia wcześniejszymi przekonaniami o przejściach stanów lub przepływie. Wykorzystuje to ścisły związek między filtrowaniem bayesowskim a rozwiązaniem równania Bellmana . Jednak aktywne wnioskowanie rozpoczyna się od przepływu (przekroczenia priorytetów) określonego skalarnymi i wektorowymi funkcjami wartości przestrzeni stanów (por. dekompozycja Helmholtza ). Oto amplituda losowych wahań i koszt wynosi . Priorytety nad przepływem indukują stany a priori nad przepływem , które są rozwiązaniem odpowiednich równań w przód Kołmogorowa . W przeciwieństwie do tego, optymalna kontrola optymalizuje przepływ, biorąc pod uwagę funkcję kosztu, przy założeniu, że (tj. przepływ jest wolny od zawijania lub ma szczegółową równowagę). Zwykle wiąże się to z rozwiązywaniem wstecznych równań Kołmogorowa . ${\ Displaystyle f = \ Gamma \ cdot \ nabla V + \ nabla \ razy W}$${\ Displaystyle V (x)}$${\ Displaystyle W (x)}$${\ Displaystyle \ Gamma}$${\ Displaystyle c (x) = f \ cdot \ nabla V + \ nabla \ cdot \ Gamma \ cdot V}$${\ Displaystyle p ({\ tylda {x}} \ średni m)}$${\displaystyle p(x\mid m)=\exp(V(x))}$${\ Displaystyle W = 0}$

Aktywne wnioskowanie i teoria optymalnych decyzji (gry)

Optymalne problemy decyzyjne (zwykle formułowane jako częściowo obserwowalne procesy decyzyjne Markowa ) są traktowane w ramach aktywnego wnioskowania poprzez wchłonięcie funkcji użyteczności do wcześniejszych przekonań. W tym ustawieniu stany o wysokiej użyteczności (niski koszt) są stanami, które agent oczekuje. Wyposażając model generatywny w stany ukryte, które sterują modelem, polityki (sekwencje sterujące), które minimalizują wahania energii swobodnej, prowadzą do wysokich stanów użyteczności.

Neurobiologicznie uważa się , że neuromodulatory, takie jak dopamina, zgłaszają precyzję błędów przewidywania poprzez modulowanie wzmocnienia głównych komórek kodujących błąd przewidywania. Jest to ściśle związane – ale formalnie różne od – roli dopaminy w raportowaniu błędów predykcji per se i powiązanych rachunków obliczeniowych.

Aktywne wnioskowanie i neuronauka poznawcza

Aktywne wnioskowanie zostało wykorzystane do rozwiązania szeregu zagadnień w neuronauce poznawczej , funkcji mózgu i neuropsychiatrii, w tym obserwacji akcji, neuronów lustrzanych, sakad i poszukiwań wzrokowych, ruchów gałek ocznych, snu, iluzji, uwagi, wyboru działań, świadomości, histerii i psychozy. Wyjaśnienia działania w aktywnym wnioskowaniu często opierają się na założeniu, że mózg ma „uparte przewidywania”, których nie może zaktualizować, co prowadzi do działań, które powodują, że te przewidywania się sprawdzają.

Aktywne wnioskowanie i praktyka organizacyjna

Aktywne wnioskowanie zostało zastosowane do analizy rzemieślniczej i przemysłowej pracy psychomotorycznej w organizacjach wykorzystujących nowe technologie. Mówiąc szerzej, argumentowano, że aktywne wnioskowanie leży u podstaw praktyk roboczych w całym cyklu życia organizacji, w tym marketingu, inżynierii przemysłowej i zarządzania jakością. Przeanalizowano również efekty zewnętrzne nowoczesnych praktyk organizacyjnych pod kątem wieloskalowej darmowej energii i aktywnego wnioskowania. Ponadto aktywne wnioskowanie połączono z innymi strukturami, takimi jak adaptacyjny model kalibracji i inżynieria systemów, aby sprostać wyzwaniom w praktyce organizacyjnej.

Zobacz też

• Percepcja związana z działaniem
• Afordancja  – Afordancja to możliwość działania na obiekcie lub środowisku
• Autopoiesis  – koncepcja systemów, która obejmuje automatyczną reprodukcję i konserwację
• Bayesowskie podejście do funkcji mózgu
• Teoria decyzji  – badanie wyborów agenta
• Poznanie ucieleśnione  – teoria interdyscyplinarna
• Darmowa energia (ujednoznacznienie)
• Info-metryka
• Optymalna kontrola
• System adaptacyjny , znany również jako Practopoiesis
• Kodowanie predykcyjne  – Teoria funkcji mózgu
• Praktopoeza
• Samoorganizacja  – Proces tworzenia porządku poprzez lokalne interakcje
• Synergetyka (Haken)
• Wariacyjne metody bayesowskie
• Filozofia „jak gdyby”

Bibliografia

Zewnętrzne linki

• Nauki behawioralne i mózgowe (Andy Clark)