Nauka różnic czasowych - Temporal difference learning

Część serii na
Uczenie maszynowe i eksploracja danych
Problemy Klasyfikacja Grupowanie Regresja Wykrywanie anomalii AutoML Zasady stowarzyszenia Nauka wzmacniania Prognoza strukturalna Structure Inżynieria funkcji Nauka funkcji Nauka online Nauka częściowo nadzorowana Nauka nienadzorowana Nauka rangi Indukcja gramatyczna
Uczenie nadzorowane ( klasyfikacja  • regresja ) Drzewa decyzyjne Zespoły Parcianka Wzmacnianie Losowy las k -NN Regresja liniowa Naiwny Bayes Sztuczne sieci neuronowe Regresja logistyczna Perceptron Maszyna wektorów trafności (RVM) Maszyna wektorów pomocniczych (SVM)
Grupowanie BRZOZOWY LEKARSTWO Hierarchiczny k -oznacza Oczekiwanie – maksymalizacja (EM) DBSCAN OPTYKA Średnia zmiana
Redukcja wymiarowości Analiza czynników CCA ICA LDA NMF PCA PGD t-SNE
Prognoza strukturalna Structure Modele graficzne Sieć Bayesa Warunkowe pole losowe Ukryty Markow
Wykrywanie anomalii k -NN Lokalny czynnik odstający
Sztuczna sieć neuronowa Autokoder Obliczenia kognitywne Głęboka nauka DeepDream Perceptron wielowarstwowy RNN LSTM GRU ESN Ograniczona maszyna Boltzmanna GAN SOM Konwolucyjna sieć neuronowa U-Net Transformator Wzrastająca sieć neuronowa Memtranzystor Elektrochemiczna pamięć RAM (ECRAM)
Nauka wzmacniania Q-learning SARSA Różnica czasowa (TD)
Teoria Kompromis między odchyleniami a wariancją Teoria uczenia się komputerowego Minimalizacja ryzyka empirycznego Nauka Occam Nauka PAC Nauka statystyczna Teoria VC
Miejsca uczenia maszynowego NeuroIPS ICML ML JMLR ArXiv:cs.LG
Powiązane artykuły Słowniczek sztucznej inteligencji Lista zbiorów danych do badań nad uczeniem maszynowym Zarys uczenia maszynowego
v t mi

Uczenie różnic czasowych ( TD ) odnosi się do klasy metod uczenia się ze wzmocnieniem bez modelu , które uczą się poprzez ładowanie początkowe z bieżącego oszacowania funkcji wartości. Metody te pobierają próbki ze środowiska, takie jak metody Monte Carlo , i wykonują aktualizacje na podstawie bieżących szacunków, takich jak metody programowania dynamicznego .

Podczas gdy metody Monte Carlo dostosowują swoje szacunki dopiero po poznaniu ostatecznego wyniku, metody TD dostosowują prognozy, aby dopasować późniejsze, dokładniejsze prognozy dotyczące przyszłości, zanim ostateczny wynik będzie znany. Jest to forma ładowania początkowego , co ilustruje poniższy przykład:

„Załóżmy, że chcesz przewidzieć pogodę na sobotę i masz model, który przewiduje pogodę w sobotę, biorąc pod uwagę pogodę każdego dnia tygodnia. W standardowym przypadku poczekasz do soboty, a następnie dostosujesz wszystkie swoje modele. kiedy jest na przykład piątek, powinieneś dobrze wiedzieć, jaka będzie pogoda w sobotę – i dzięki temu możesz zmienić, powiedzmy, sobotni model przed nadejściem soboty”.

Metody różnic czasowych są powiązane z modelem różnic czasowych uczenia się zwierząt.

Sformułowanie matematyczne

Metoda tabelaryczna TD(0) jest jedną z najprostszych metod TD. Jest to szczególny przypadek bardziej ogólnych metod przybliżenia stochastycznego. Szacuje funkcję wartości stanu skończonego procesu decyzyjnego Markowa (MDP) w ramach polityki . Niech oznaczają funkcję wartości stanu MDP z państw , nagród i obniżone stawki w ramach polityki : ${\displaystyle \pi}$${\ Displaystyle V ^ {\ pi}}$${\ Displaystyle (s_ {t}) _ {t \ w \ mathbb {N}}}$${\ Displaystyle (r_ {t}) _ {t \ w \ mathbb {N}}}$${\ Displaystyle \ gamma}$${\displaystyle \pi}$

${\ Displaystyle V ^ {\ pi} (s) = E_ {a \ sim \ pi} \ lewo \ {\ suma _ {t = 0} ^ {\ infty} \ gamma ^ {t} r_ {t} (a_ {t}){\Bigg |}s_{0}=s\right\}.}$

Dla wygody usuwamy akcję z notacji. spełnia równanie Hamiltona-Jacobiego-Bellmana : ${\ Displaystyle V ^ {\ pi}}$

${\ Displaystyle V ^ {\ pi} (s) = E_ {\ pi} \ {r_ {0}+ \ gamma V ^ {\ pi} (s_ {1}) | s_ {0} = s \}}$

tak samo jest bezstronne oszacowanie dla . Ta obserwacja uzasadnia następujący algorytm szacowania . ${\ Displaystyle r_ {0}+ \ gamma V ^ {\ pi} (s_ {1})}$${\ Displaystyle V ^ {\ pi} (s)}$${\ Displaystyle V ^ {\ pi}}$

Algorytm rozpoczyna się od arbitralnego zainicjowania tabeli , z jedną wartością dla każdego stanu MDP. Wybrano pozytywny wskaźnik uczenia się. ${\ Displaystyle V (s)}$ ${\ Displaystyle \ alfa}$

Następnie wielokrotnie oceniamy polisę , otrzymujemy nagrodę i aktualizujemy funkcję wartości dla starego stanu za pomocą reguły: ${\displaystyle \pi}$${\ Displaystyle r}$

${\ Displaystyle V (s) \ leftarrow V (s) + \ alfa (\ overbrace {r + \ gamma V (s)} ^ {\ tekst {docelowy TD}} -V (s))}$

gdzie i są odpowiednio stare i nowe państwa. Wartość ta jest znana jako docelowa wartość TD. ${\displaystyle s}$${\displaystyle s'}$${\displaystyle r+\gamma V(s)}$

TD-Lambda

TD-Lambda to algorytm uczenia się wymyślony przez Richarda S. Suttona na podstawie wcześniejszych prac Arthura Samuela dotyczących uczenia się różnic czasowych . Algorytm ten został wykorzystany przez Geralda Tesauro do stworzenia TD-Gammon , programu, który nauczył się grać w backgammona na poziomie doświadczonych graczy.

Parametr lambda ( ) odnosi się do parametru śledzenia zaniku z . Wyższe ustawienia prowadzą do trwalszych śladów; oznacza to, że większa część uznania z nagrody może być przyznana bardziej odległym stanom i działaniom, gdy jest ona wyższa, z równoległym uczeniem się do algorytmów Monte Carlo RL. ${\ Displaystyle \ lambda}$${\ Displaystyle 0 \ leqslant \ lambda \ leqslant 1}$${\ Displaystyle \ lambda}$${\ Displaystyle \ lambda =1}$

Algorytm TD w neuronauce

Algorytm TD zwrócił również uwagę w dziedzinie neuronauki . Naukowcy odkryli, że szybkość odpalania neuronów dopaminowych w obszarze brzusznej nakrywki (VTA) i istocie czarnej (SNc) wydaje się naśladować funkcję błędu w algorytmie. Funkcja błędu zgłasza z powrotem różnicę między szacowaną nagrodą w dowolnym stanie lub kroku czasowym a faktyczną otrzymaną nagrodą. Im większa funkcja błędu, tym większa różnica między oczekiwaną a rzeczywistą nagrodą. Gdy jest to połączone z bodźcem, który dokładnie odzwierciedla przyszłą nagrodę, błąd można wykorzystać do powiązania bodźca z przyszłą nagrodą .

Wydaje się, że komórki dopaminy zachowują się w podobny sposób. W jednym eksperymencie pomiary komórek dopaminy zostały wykonane podczas szkolenia małpy, aby powiązać bodziec z nagrodą w postaci soku. Początkowo komórki dopaminowe zwiększały tempo wypalania, gdy małpa otrzymywała sok, co wskazuje na różnicę w oczekiwanych i rzeczywistych nagrodach. Z biegiem czasu ten wzrost oddawania strzałów rozprzestrzeniał się na najwcześniejszy wiarygodny bodziec do nagrody. Gdy małpa była w pełni wytrenowana, nie było wzrostu szybkości strzelania po przedstawieniu przewidywanej nagrody. Następnie szybkość wystrzeliwania komórek dopaminowych spadła poniżej normalnej aktywacji, gdy oczekiwana nagroda nie została wytworzona. To dokładnie naśladuje sposób, w jaki funkcja błędu w TD jest używana do uczenia się przez wzmacnianie .

Związek między modelem a potencjalną funkcją neurologiczną zaowocował badaniami próbującymi wykorzystać TD do wyjaśnienia wielu aspektów badań behawioralnych. Stosowano go również do badania takich schorzeń, jak schizofrenia czy konsekwencje farmakologicznych manipulacji dopaminą na uczenie się.

Zobacz też

• Q-learning
• SARSA
• Model Rescorli-Wagnera
• PVLV

Uwagi

Bibliografia

• Sutton RS, Barto AG (1990). „Modele czasowe zbrojenia Pawłowa” (PDF) . Nauka i neuronauka obliczeniowa: Podstawy sieci adaptacyjnych : 497-537.CS1 maint: wiele nazwisk: lista autorów ( link )
• Gerald Tezauro (marzec 1995). „Uczenie się różnic czasowych i TD-Gammon” . Komunikaty ACM . 38 (3): 58-68. doi : 10.1145/203330.203343 .
• Imran Ghory. Nauka wzmacniania w grach planszowych .
• SP Meyn, 2007. Control Techniques for Complex Networks , Cambridge University Press, 2007. Patrz ostatni rozdział i dodatek ze skrótem Meyn & Tweedie .

Linki zewnętrzne

• Scholarpedia Różnica czasowa Uczenie się
• TD-Gammon
• Grupa Badawcza TD-Networks
• Connect Four TDGravity Applet (+ wersja na telefon komórkowy) – samouczony przy użyciu metody TD-Leaf (połączenie TD-Lambda z wyszukiwaniem płytkiego drzewa)
• Samoucząca się meta-kółko i krzyżyk Przykładowa aplikacja internetowa pokazująca, jak można wykorzystać uczenie różnic czasowych do nauki stałych oceny stanu dla minimax AI grającej w prostą grę planszową.
• Reinforcement Learning Problem , dokument wyjaśniający, w jaki sposób uczenie się na podstawie różnic czasowych może być wykorzystane do przyspieszenia Q-learningu
• Symulator TD Symulator różnicy czasowej do warunkowania klasycznego