Propagacja wsteczna - Backpropagation

Część serii na
Uczenie maszynowe i eksploracja danych
Problemy Klasyfikacja Grupowanie Regresja Wykrywanie anomalii Czyszczenie danych AutoML Zasady stowarzyszenia Nauka wzmacniania Prognoza strukturalna Inżynieria funkcji Nauka funkcji Nauka online Nauka częściowo nadzorowana Nauka nienadzorowana Nauka rangi Indukcja gramatyczna
Uczenie nadzorowane ( klasyfikacja  • regresja ) Drzewa decyzyjne Zespoły Parcianka Wzmacnianie Losowy las k -NN Regresja liniowa Naiwny Bayes Sztuczne sieci neuronowe Regresja logistyczna Perceptron Maszyna wektorów trafności (RVM) Maszyna wektorów pomocniczych (SVM)
Grupowanie BRZOZOWY LECZYĆ Hierarchiczny k -oznacza Oczekiwanie – maksymalizacja (EM) DBSCAN OPTYKA Średnia zmiana
Redukcja wymiarowości Analiza czynników CCA ICA LDA NMF PCA PGD t-SNE
Prognoza strukturalna Modele graficzne Sieć Bayesa Warunkowe pole losowe Ukryty Markow
Wykrywanie anomalii k -NN Lokalny czynnik odstający
Sztuczna sieć neuronowa Autokoder Obliczenia kognitywne Głęboka nauka DeepDream Perceptron wielowarstwowy RNN LSTM GRU ESN Ograniczona maszyna Boltzmanna GAN SOM Konwolucyjna sieć neuronowa U-Net Transformator Wzrastająca sieć neuronowa Memtranzystor Elektrochemiczna pamięć RAM (ECRAM)
Nauka wzmacniania Q-learning SARSA Różnica czasowa (TD)
Teoria Kompromis między odchyleniami a wariancją Teoria uczenia się komputerowego Minimalizacja ryzyka empirycznego Nauka Occam Nauka PAC Nauka statystyczna Teoria VC
Miejsca uczenia maszynowego NeuroIPS ICML ML JMLR ArXiv:cs.LG
Powiązane artykuły Słowniczek sztucznej inteligencji Lista zbiorów danych do badań nad uczeniem maszynowym Zarys uczenia maszynowego
v T mi

W uczenia maszynowego , wstecznej ( backprop , BP ) jest szeroko stosowany algorytm dla szkolenia wyprzedzającym sieci neuronowych . Uogólnienia propagacji wstecznej istnieją dla innych sztucznych sieci neuronowych (SSN) i ogólnie dla funkcji. Wszystkie te klasy algorytmów są ogólnie określane jako „propagacja wsteczna”. W montażu sieci neuronowej , wstecznej oblicza gradientu w funkcji strat w stosunku do ciężarów sieci dla jednego przykładu wejścia-wyjścia, a nie tak skutecznie , w przeciwieństwie do naiwnych bezpośredniego obliczania gradientu w odniesieniu do każdego ciężaru indywidualnie. Ta wydajność umożliwia wykorzystanie metod gradientowych do uczenia sieci wielowarstwowych, aktualizując wagi w celu zminimalizowania strat; zejście gradientowe lub warianty, takie jak stochastyczne zejście gradientowe , są powszechnie stosowane. Algorytm propagacji wstecznej działa poprzez obliczenie gradientu funkcji straty w odniesieniu do każdej wagi za pomocą reguły łańcucha , obliczenie gradientu jedna warstwa na raz, iteracja wstecz od ostatniej warstwy, aby uniknąć zbędnych obliczeń pośrednich składników w regule łańcucha; to jest przykład programowania dynamicznego .

Termin propagacja wsteczna ściśle odnosi się tylko do algorytmu obliczania gradientu, a nie do sposobu wykorzystania gradientu; jednak termin ten jest często używany luźno w odniesieniu do całego algorytmu uczenia się, w tym sposobu wykorzystania gradientu, na przykład stochastycznego spadku gradientu. Propagacja wsteczna uogólnia obliczenia gradientu w regule delta , która jest jednowarstwową wersją propagacji wstecznej, i jest z kolei uogólniona przez automatyczne różnicowanie , gdzie propagacja wsteczna jest szczególnym przypadkiem akumulacji wstecznej (lub „trybem odwrotnym”). Termin propagacja wsteczna i jego ogólne zastosowanie w sieciach neuronowych ogłosili Rumelhart, Hinton i Williams (1986a) , a następnie rozwinęli i spopularyzowali w Rumelhart, Hinton i Williams (1986b) , ale technika ta była wielokrotnie odkrywana niezależnie i miała wielu datowanych do lat 60.; patrz § Historia . Nowoczesny przegląd znajduje się w podręczniku do głębokiego uczenia się autorstwa Goodfellow, Bengio & Courville (2016) .

Przegląd

Propagacja wsteczna oblicza gradient w przestrzeni wag sieci neuronowej ze sprzężeniem do przodu, w odniesieniu do funkcji straty . Oznaczać:

• ${\displaystyle x}$: wejście (wektor cech)
• ${\displaystyle y}$: wyjście docelowe

  Klasyfikacji, sygnał będzie być wektorem prawdopodobieństwa klasy (na przykład , i wysyła cel jest klasą specyficznych, kodowanych przez jeden gorącym / zmiennej obojętne (na przykład ).${\ Displaystyle (0.1,0.7,0.2)}$${\ Displaystyle (0,1,0)}$

• ${\displaystyle C}$: funkcja strat lub „funkcja kosztów”

  Dla klasyfikacji jest to zwykle entropia krzyżowa (XC, log loss ), podczas gdy dla regresji jest to zwykle kwadratowa strata błędu (SEL).

• ${\ Displaystyle L}$: liczba warstw
• ${\ Displaystyle W ^ {l} = (w_ {jk} ^ {l})}$: wagi między warstwą a , gdzie jest wagą między -tym węzłem w warstwie a -tym węzłem w warstwie${\ Displaystyle l-1}$${\displaystyle l}$${\ Displaystyle w_ {jk} ^ {l}}$${\displaystyle k}$${\ Displaystyle l-1}$${\ Displaystyle j}$${\displaystyle l}$
• ${\ Displaystyle f ^ {l}}$: funkcje aktywacji w warstwie${\displaystyle l}$

  Dla klasyfikacji ostatnią warstwą jest zwykle funkcja logistyczna dla klasyfikacji binarnej, a softmax (softargmax) dla klasyfikacji wieloklasowej, podczas gdy dla warstw ukrytych była to tradycyjnie funkcja sigmoidalna (funkcja logistyczna lub inne) na każdym węźle (współrzędnej), ale dziś jest bardziej zróżnicowana, a prostownik ( rampa , ReLU ) jest powszechny.

W wyprowadzaniu wstecznej propagacji stosuje się inne ilości pośrednie; są one wprowadzane w miarę potrzeb poniżej. Terminy odchylenia nie są traktowane specjalnie, ponieważ odpowiadają wadze o stałej wartości wejściowej równej 1. Dla celów propagacji wstecznej, specyficzna funkcja straty i funkcje aktywacji nie mają znaczenia, o ile one i ich pochodne mogą być efektywnie oceniane.

Ogólna sieć jest kombinacją kompozycji funkcji i mnożenia macierzy :

${\ Displaystyle g (x): = f ^ {L} (W ^ {L} f ^ {L-1} (W ^ {L-1}) \ cdots f ^ {1} (W ^ {1} x) \cdots ))}$

Dla zestawu uczącego będzie zestaw par wejścia-wyjścia, . Dla każdej pary wejście-wyjście w zbiorze uczącym utrata modelu w tej parze jest kosztem różnicy między przewidywanym wyjściem a docelowym wyjściem : ${\ Displaystyle \ lewo \ {(x_ {i}, Y_ {i}) \ prawo \}}$${\ Displaystyle (x_ {i}, Y_ {i})}$${\ Displaystyle g (x_ {i})}$${\displaystyle y_{i}}$

${\ Displaystyle C (y_ {i}, g (x_ {i}))}$

Zwróć uwagę na rozróżnienie: podczas ewaluacji modelu wagi są stałe, podczas gdy dane wejściowe są różne (a docelowy wynik może być nieznany), a sieć kończy się warstwą wyjściową (nie zawiera funkcji straty). Podczas uczenia modelu para wejście-wyjście jest stała, wagi są zmienne, a sieć kończy się funkcją straty.

Propagacja wsteczna oblicza gradient dla stałej pary wejście-wyjście , w której wagi mogą się różnić. Każdy indywidualny składnik gradientu można obliczyć za pomocą reguły łańcucha; jednak robienie tego osobno dla każdej wagi jest nieefektywne. Propagacja wsteczna skutecznie oblicza gradient, unikając podwójnych obliczeń i nie obliczając zbędnych wartości pośrednich, obliczając gradient każdej warstwy – w szczególności gradient ważonego wejścia każdej warstwy, oznaczonego – od tyłu do przodu. ${\ Displaystyle (x_ {i}, Y_ {i})}$${\ Displaystyle w_ {jk} ^ {l}}$${\ Displaystyle \ częściowe C / \ częściowe w_ {jk} ^ {l}}$${\ Displaystyle \ delta ^ {l}}$

Nieformalnie kluczową kwestią jest to, że ponieważ jedynym sposobem, w jaki waga wpływa na utratę, jest jej wpływ na następną warstwę i dzieje się to liniowo , to jedyne dane potrzebne do obliczenia gradientów wag w warstwie , a następnie możesz obliczyć poprzednią warstwę i powtórzyć rekursywnie. Pozwala to uniknąć nieefektywności na dwa sposoby. Po pierwsze, pozwala uniknąć duplikacji, ponieważ podczas obliczania gradientu w warstwie nie trzeba za każdym razem ponownie obliczać wszystkich pochodnych na kolejnych warstwach . Po drugie, unika zbędnych obliczeń pośrednich, ponieważ na każdym etapie bezpośrednio oblicza gradient wag względem ostatecznego wyniku (straty), zamiast niepotrzebnie obliczać pochodne wartości warstw ukrytych po zmianach wag . ${\ Displaystyle W ^ {l}}$${\ Displaystyle \ delta ^ {l}}$${\displaystyle l}$${\ Displaystyle \ delta ^ {l-1}}$${\displaystyle l}$${\displaystyle l+1,l+2,\ldots}$${\ Displaystyle \ częściowe a_ {j'} ^ {l} / \ częściowe w_ {jk} ^ {l}}$

Propagację wsteczną można wyrazić dla prostych sieci ze sprzężeniem do przodu w postaci mnożenia macierzy lub bardziej ogólnie w postaci grafu sprzężonego .

Mnożenie macierzy

W podstawowym przypadku sieci ze sprzężeniem do przodu, gdzie węzły w każdej warstwie są połączone tylko z węzłami w następnej warstwie (bez pomijania jakichkolwiek warstw) i istnieje funkcja strat, która oblicza stratę skalarną dla końcowego wyniku, propagację wsteczną można rozumiane po prostu przez mnożenie macierzy. Zasadniczo propagacja wsteczna ocenia wyrażenie na pochodną funkcji kosztu jako iloczyn pochodnych między każdą warstwą od prawej do lewej – „do tyłu” – przy czym gradient wag między każdą warstwą jest prostą modyfikacją produktów cząstkowych („ błąd propagowany wstecz”).

Biorąc pod uwagę parę wejście-wyjście , strata wynosi: ${\displaystyle (x,y)}$

${\ Displaystyle C (y, f ^ {L} (W ^ {L} f ^ {L-1}) (W ^ {L-1} \ cdots f ^ {2} (W ^ {2} f ^ {1}) }(W^{1}x))\cdots)))}$

Aby to obliczyć, zaczynamy od danych wejściowych i pracujemy do przodu; oznaczają ważone wejście każdej warstwy jako , a wyjście warstwy jako aktywację . W przypadku propagacji wstecznej aktywacja oraz pochodne (oceniane w ) muszą być buforowane do użycia podczas przebiegu wstecznego. ${\displaystyle x}$${\ Displaystyle z ^ {l}}$${\displaystyle l}$${\ Displaystyle a ^ {l}}$${\ Displaystyle a ^ {l}}$${\ Displaystyle (f ^ {l}) '}$${\ Displaystyle z ^ {l}}$

Pochodną straty pod względem danych wejściowych określa reguła łańcucha; zauważ, że każdy wyraz jest całkowitą pochodną , szacowaną na wartości sieci (w każdym węźle) na wejściu : ${\displaystyle x}$

${\ Displaystyle {\ Frac {dC} {da ^ {l}}} \ cdot {\ Frac {da ^ {l}} {dz ^ {l}}} \ cdot {\ Frac {dz ^ {l}}} da^{L-1}}}\cdot {\frac {da^{L-1}}{dz^{L-1}}}\cdot {\frac {dz^{L-1}}{da^ {L-2}}}\cdots {\frac {da^{1}}{dz^{1}}}\cdot {\frac {\częściowy z^{1}}{\częściowy x}}.}$

Terminy te to: pochodna funkcji straty; pochodne funkcji aktywacji; oraz macierze wag:

${\ Displaystyle {\ Frac {dC} {da ^ {L}}} \ cdot (f ^ {L}) '\ cdot W ^ {L} \ cdot (f ^ {L-1}) '\ cdot W ^ {L-1}\cdots (f^{1})'\cdot W^{1}.}$

Gradient jest transpozycją pochodnej wyjścia względem wejścia, więc macierze są transponowane, a kolejność mnożenia jest odwrócona, ale wpisy są takie same: ${\displaystyle \nabla}$

${\ Displaystyle \ nabla _ {x} C = (W ^ {1}) ^ {T} \ cdot (f ^ {1}) '\ cdots \ cdot (W ^ {L-1}) ^ {T} \ cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C.}$

Propagacja wsteczna polega zatem zasadniczo na ocenie tego wyrażenia od prawej do lewej (równoważnie, mnożeniu poprzedniego wyrażenia przez pochodną od lewej do prawej), obliczeniu gradientu w każdej warstwie po drodze; jest dodatkowy krok, ponieważ gradient wag nie jest tylko podwyrażeniem: jest dodatkowe mnożenie.

Wprowadzenie wielkości pomocniczej dla produktów cząstkowych (mnożenie od prawej do lewej), interpretowanej jako „błąd na poziomie ” i zdefiniowanej jako gradient wartości wejściowych na poziomie : ${\ Displaystyle \ delta ^ {l}}$${\displaystyle l}$${\displaystyle l}$

${\ Displaystyle \ delta ^ {l}: = (f ^ {l}) '\ cdot (W ^ {l + 1}) ^ {T} \ cdots \ cdot (W ^ {L-1}) ^ {T }\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C. }$

Zauważ, że jest to wektor o długości równej liczbie węzłów na poziomie ; każdy składnik jest interpretowany jako „koszt, który można przypisać (wartość) tego węzła”. ${\ Displaystyle \ delta ^ {l}}$${\displaystyle l}$

Gradient wag w warstwie wynosi wtedy: ${\displaystyle l}$

${\ Displaystyle \ nabla _ {W ^ {l}} C = \ delta ^ {l} (a ^ {l-1}) ^ {T}.}$

Czynnikiem jest to, że wagi między poziomem a poziomem wpływają proporcjonalnie do wejść (aktywacji): wejścia są stałe, wagi się zmieniają. ${\ Displaystyle a ^ {l-1}}$${\ Displaystyle W ^ {l}}$${\ Displaystyle l-1}$${\displaystyle l}$${\displaystyle l}$

Można łatwo obliczane rekursywnie jako: ${\ Displaystyle \ delta ^ {l}}$

${\ Displaystyle \ delta ^ {l-1}: = (f ^ {l-1}) '\ cdot (W ^ {l}) ^ {T} \ cdot \ delta ^ {l}}.$

Gradienty wag można zatem obliczyć za pomocą kilku mnożeń macierzy dla każdego poziomu; to jest wsteczna propagacja.

W porównaniu z naiwnym przetwarzaniem naprzód (używając dla ilustracji): ${\ Displaystyle \ delta ^ {l}}$

${\ Displaystyle {\ zacząć {wyrównany} \ delta ^ {1} i = (f ^ {1}) '\ cdot (W ^ {2}) ^ {T} \ cdot (f ^ {2}) '\ cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})' \cdot \nabla _{a^{L}}C\\\delta ^{2}&=(f^{2})'\cdots \cdot (W^{L-1})^{T}\cdot (f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C\\&\ vdots \\\delta ^{L-1}&=(f^{L-1})'\cdot (W^{L})^{T}\cdot (f^{L})'\cdot \nabla _{a^{L}}C\\\delta ^{L}&=(f^{L})'\cdot \nabla _{a^{L}}C,\end{wyrównany}}}$

istnieją dwie kluczowe różnice z propagacją wsteczną:

1. Obliczenia pod względem unikania oczywistego powielania powielania warstw i nie tylko.${\ Displaystyle \ delta ^ {l-1}}$${\ Displaystyle \ delta ^ {l}}$${\displaystyle l}$
2. Mnożenie zaczynając od – propagując błąd wstecz – oznacza, że ​​każdy krok po prostu mnoży wektor ( ) przez macierze wag i pochodnych aktywacji . Natomiast mnożenie naprzód, począwszy od zmian we wcześniejszej warstwie, oznacza, że ​​każde mnożenie mnoży macierz przez macierz . Jest to znacznie droższe i odpowiada śledzeniu każdej możliwej ścieżki zmiany w jednej warstwie w przód do zmian w warstwie (w celu pomnożenia przez , z dodatkowymi mnożeniami dla pochodnych aktywacji), które niepotrzebnie oblicza pośrednie wielkości tego, jak waga zmiany wpływają na wartości ukrytych węzłów.${\ Displaystyle \ nabla _ {a ^ {L}} C}$${\ Displaystyle \ delta ^ {l}}$${\ Displaystyle (W ^ {l}) ^ {T}}$${\ Displaystyle (f ^ {l-1}) '}$${\displaystyle l}$${\displaystyle l+2}$${\ Displaystyle W ^ {l + 1}}$${\ Displaystyle W ^ {l + 2}}$

Dołączony wykres

W przypadku bardziej ogólnych wykresów i innych zaawansowanych odmian propagację wsteczną można rozumieć w kategoriach automatycznego różnicowania , gdzie propagacja wsteczna jest szczególnym przypadkiem akumulacji odwrotnej (lub „trybem odwrotnym”).

Intuicja

Motywacja

Celem każdego algorytmu uczenia nadzorowanego jest znalezienie funkcji, która najlepiej odwzorowuje zestaw danych wejściowych na ich prawidłowe dane wyjściowe. Motywacją do wstecznej propagacji jest wytrenowanie wielowarstwowej sieci neuronowej tak, aby mogła nauczyć się odpowiednich wewnętrznych reprezentacji, aby umożliwić jej nauczenie się dowolnego arbitralnego mapowania wejścia na wyjście.

Uczenie się jako problem optymalizacyjny

Aby zrozumieć matematyczne wyprowadzenie algorytmu wstecznej propagacji błędów, warto najpierw rozwinąć intuicję dotyczącą związku między rzeczywistym wyjściem neuronu a poprawnym wyjściem dla konkretnego przykładu treningowego. Rozważmy prostą sieć neuronową z dwiema jednostkami wejściowymi, jedną jednostką wyjściową i bez jednostek ukrytych, w której każdy neuron używa wyjścia liniowego (w przeciwieństwie do większości prac nad sieciami neuronowymi, w których mapowanie z wejść na wyjścia jest nieliniowe), czyli ważona suma jego wkładu.

Początkowo, przed treningiem, ciężary będą ustawiane losowo. Następnie neuron uczy się na przykładach uczących , które w tym przypadku składają się ze zbioru krotek, gdzie i są wejściami do sieci, a t jest poprawnym wyjściem (wyjście, które sieć powinna wytworzyć przy danych wejściach, gdy została nauczona). Początkowa sieć, dane i , obliczy wynik y, który prawdopodobnie różni się od t (przy danych losowych wagach). Funkcja straty jest używana do pomiaru rozbieżności między docelową wartością wyjściową t a obliczoną wartością wyjściową y . Do analizy regresji problemów kwadrat błędu może być stosowany jako funkcję strat dla klasyfikacji kategoryczny crossentropy mogą być użyte. ${\displaystyle (x_{1},x_{2},t)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$ ${\ Displaystyle L (t, y)}$

Jako przykład rozważ problem regresji wykorzystujący błąd kwadratowy jako stratę:

${\ Displaystyle L (t, y) = (ty) ^ {2} = E}$

gdzie E jest rozbieżnością lub błędem.

Rozważ sieć na jednym przypadku szkoleniowym: . Zatem wejścia i wynoszą odpowiednio 1 i 1, a poprawna wartość wyjściowa t wynosi 0. Teraz, jeśli wykreślona zostanie zależność między wyjściem sieci y na osi poziomej a błędem E na osi pionowej, wynikiem jest parabola. Minimalna z paraboli odpowiada wyjścia Y , który minimalizuje błędu E . W przypadku pojedynczego przypadku szkoleniowego minimum dotyka również osi poziomej, co oznacza, że ​​błąd wyniesie zero, a sieć może wygenerować wynik y, który dokładnie odpowiada docelowemu wynikowi t . Dlatego problem mapowania wejść na wyjścia można sprowadzić do problemu optymalizacji polegającego na znalezieniu funkcji, która da minimalny błąd.${\ Displaystyle (1,1,0)}$${\displaystyle x_{1}}$${\displaystyle x_{2}}$

Jednak wyjście neuronu zależy od ważonej sumy wszystkich jego wejść:

${\displaystyle y=x_{1}w_{1}+x_{2}w_{2},}$

gdzie i są wagami na połączeniu jednostek wejściowych z jednostką wyjściową. Dlatego błąd zależy również od wag przychodzących do neuronu, co ostatecznie należy zmienić w sieci, aby umożliwić uczenie się. ${\displaystyle w_{1}}$${\displaystyle w_{2}}$

W tym przykładzie po wstrzyknięciu danych uczących funkcja straty staje się

${\ Displaystyle E = (ty) ^ {2} = r ^ {2} = (x_ {1} w_ {1} + x_ {2} w {2}) ^ {2} = (w_ {1} + w_ {2})^{2}.}$

Wówczas funkcja strat przyjmuje postać walca parabolicznego z podstawą skierowaną wzdłuż . Ponieważ wszystkie zestawy wag, które spełniają, minimalizują funkcję straty, w tym przypadku wymagane są dodatkowe ograniczenia, aby uzyskać jednoznaczne rozwiązanie. Dodatkowe ograniczenia mogą być generowane przez ustawienie określonych warunków dla wag lub poprzez wprowadzenie dodatkowych danych treningowych. ${\ Displaystyle E}$${\displaystyle w_{1}=-w_{2}}$${\displaystyle w_{1}=-w_{2}}$

Jednym z powszechnie stosowanych algorytmów znajdowania zestawu wag, który minimalizuje błąd, jest opadanie gradientowe . Przez wsteczną propagację oblicza się najbardziej stromy kierunek opadania funkcji straty w stosunku do obecnych wag synaptycznych. Następnie ciężary można modyfikować wzdłuż najbardziej stromego kierunku opadania, a błąd jest minimalizowany w efektywny sposób.

Pochodzenie

Metoda gradientu spadkowego polega na obliczeniu pochodnej funkcji straty w odniesieniu do wag sieci. Zwykle odbywa się to za pomocą wstecznej propagacji. Zakładając jeden neuron wyjściowy, kwadratową funkcją błędu jest

${\ Displaystyle E = L (t, y)}$

gdzie

${\ Displaystyle L}$jest stratą dla wartości wyjściowej i docelowej ,${\displaystyle y}$${\displaystyle t}$

${\displaystyle t}$ jest docelowym wynikiem dla próbki treningowej, oraz

${\displaystyle y}$ jest rzeczywistym wyjściem neuronu wyjściowego.

Dla każdego neuronu jego wyjście jest zdefiniowane jako ${\ Displaystyle j}$${\ Displaystyle o_ {j}}$

${\ Displaystyle o_ {j} = \ varphi ({\ tekst {net}} _ {j}) = \ varphi \ lewo (\ suma _ {k = 1} ^ {n} w_ {kj} o_ {k} \ Prawidłowy),}$

gdzie funkcja aktywacji jest nieliniowa i różniczkowalna (nawet jeśli ReLU nie znajduje się w jednym punkcie). Historycznie stosowaną funkcją aktywacji jest funkcja logistyczna : ${\displaystyle \varphi}$

${\ Displaystyle \ varphi (z) = {\ Frac {1} {1 + e ^ {-z}}}}$

który ma wygodną pochodną:

${\ Displaystyle {\ Frac {d\ varphi (z)} {dz}} = \ varphi (z) (1-\ varphi (z))}$

Wejście do neuronu to ważona suma wyjść poprzednich neuronów. Jeśli neuron znajduje się w pierwszej warstwie po warstwie wejściowej, warstwy wejściowej są po prostu wejściami do sieci. Liczba jednostek wejściowych do neuronu wynosi . Zmienna oznacza wagę pomiędzy neuronem warstwy poprzedniej a neuronem warstwy bieżącej. ${\ Displaystyle {\ tekst {sieć}} _ {j}}$${\ Displaystyle o_ {k}}$${\ Displaystyle o_ {k}}$${\displaystyle x_{k}}$${\ Displaystyle n}$${\displaystyle w_{kj}}$${\displaystyle k}$${\ Displaystyle j}$

Znajdowanie pochodnej błędu

Obliczenie pochodnej cząstkowej błędu względem wagi odbywa się dwukrotnie za pomocą reguły łańcucha : ${\displaystyle w_{ij}}$

${\ Displaystyle {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}} = {\ Frac {\ częściowy E} {\ częściowy o_ {j}}}{\ Frac {\ częściowy o_ {j}} \partial w_{ij}}}={\frac {\partial E}{\partial o_{j}}}{\frac {\partial o_{j}}{\partial {\text{net}}_{j }}}{\frac {\częściowy {\text{net}}_{j}}{\częściowy w_{ij}}}}$

( Równanie 1 )

W ostatnim czynniku prawej strony powyższego tylko jeden wyraz w sumie zależy od , więc ${\ Displaystyle {\ tekst {sieć}} _ {j}}$${\displaystyle w_{ij}}$

${\ Displaystyle {\ Frac {\ częściowy {\ tekst {net}}_ {j}}{\ częściowy w_ {ij}}} = {\ Frac {\ częściowy} {\ częściowy w_ {ij}}} \ lewo ( \sum _{k=1}^{n}w_{kj}o_{k}\right)={\frac {\częściowy }{\częściowy w_{ij}}}w_{ij}o_{i}=o_ {i}.}$

( Równanie 2 )

Jeśli neuron znajduje się w pierwszej warstwie po warstwie wejściowej, jest to po prostu . ${\displaystyle o_{i}}$${\displaystyle x_{i}}$

Pochodna wyjścia neuronu względem wejścia jest po prostu cząstkową pochodną funkcji aktywacji: ${\ Displaystyle j}$

${\ Displaystyle {\ Frac {\ częściowy o_ {j}}{\ częściowy {\ tekst {sieć}} _ {j}}} = {\ Frac {\ częściowy \ varphi ({\ tekst {sieć}} _ {j })}{\częściowy {\text{net}}_{j}}}}$

( Równanie 3 )

co dla przypadku funkcji aktywacji logistycznej wynosi:

${\ Displaystyle {\ Frac {\ częściowy o_ {j}}{\ częściowy {\ tekst {sieć}} _ {j}}} = {\ Frac {\ częściowy} {\ częściowy {\ tekst {sieć}} _ { j}}}\varphi ({\text{sieć}}_{j})=\varphi ({\text{sieć}}_{j})(1-\varphi ({\text{sieć}}_{ j}))=o_{j}(1-o_{j})}$

Jest to powód, dla którego propagacja wsteczna wymaga, aby funkcja aktywacji była różniczkowalna . (Niemniej funkcja aktywacji ReLU , która jest nieróżnicowalna przy 0, stała się dość popularna np. w AlexNet )

Pierwszy czynnik jest prosty do oceny, czy neuron znajduje się w warstwie wyjściowej, ponieważ wtedy i ${\displaystyle o_{j}=y}$

${\ Displaystyle {\ Frac {\ częściowy e} {\ częściowy o_ {j}}} = {\ Frac {\ częściowy e} {\ częściowy y}}}$

( Równanie 4 )

Jeśli połowa błędu kwadratowego jest używana jako funkcja straty, możemy przepisać ją jako

${\ Displaystyle {\ Frac {\ częściowy e} {\ częściowy o_ {j}}} = {\ Frac {\ częściowy e} {\ częściowy y}} = {\ Frac {\ częściowy} }{\ częściowy y}} \frac {1}{2}}(ty)^{2}=yt}$

Jeśli jednak znajduje się w dowolnej wewnętrznej warstwie sieci, znalezienie pochodnej względem jest mniej oczywiste. ${\ Displaystyle j}$${\ Displaystyle E}$${\ Displaystyle o_ {j}}$

Biorąc pod uwagę jako funkcję, której wejściami są wszystkie neurony otrzymujące dane wejściowe z neuronu , ${\ Displaystyle E}$${\ Displaystyle L = \ {u, v, \ kropki, w \}}$${\ Displaystyle j}$

${\ Displaystyle {\ Frac {\ częściowy E (o_ {j})} {\ częściowy O_ {j}}} = {\ Frac {\ częściowy E (\ operator {net} _ {u} {\ tekst {netto }}_{v},\dots ,\mathrm {net} _{w})}{\częściowy o_{j}}}}$

i biorąc pochodną całkowitą względem , otrzymujemy wyrażenie rekurencyjne dla pochodnej: ${\ Displaystyle o_ {j}}$

${\ Displaystyle {\ Frac {\ częściowy e} {\ częściowy o_ {j}}} = \ suma _ {\ ell \ w l} \ lewo ({\ Frac {\ częściowy e}} {\ częściowy {\ tekst {netto }}_{\ell }}}{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L }\left({\frac {\częściowy E}{\częściowy o_{\ell }}}{\frac {\częściowy o_{\ell }}{\częściowy {\text{net}}_{\ell }} }{\frac {\partial {\text{net}}_{\ell }}{\partial o_{j}}}\right)=\sum _{\ell \in L}\left({\frac { \partial E}{\partial o_{\ell }}}{\frac {\partial o_{\ell }}{\partial {\text{net}}_{\ell }}}w_{j\ell }\ Prawidłowy)}$

( Równanie 5 )

Dlatego pochodną względem wyjścia można obliczyć, jeśli znane są wszystkie pochodne względem wyjść następnej warstwy – tych bliższych neuronowi wyjściowemu. [Zauważ, że jeśli którykolwiek z neuronów w zestawie nie byłby połączony z neuronem , byłyby niezależne od i odpowiadająca im pochodna cząstkowa pod sumowaniem zniknęłaby do 0.] ${\ Displaystyle o_ {j}}$${\displaystyle o_{\ell}}$${\ Displaystyle L}$${\ Displaystyle j}$${\displaystyle w_{ij}}$

Zastępując równanie 2 , równ. 3 Równ.4 i Równ . 5 w równaniu 1 otrzymujemy:

${\ Displaystyle {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}} = {\ Frac {\ częściowy E} {\ częściowy o_ {j}}} {\ Frac {\ częściowy o_ {j}} \partial {\text{net}}_{j}}}{\frac {\partial {\text{net}}_{j}}{\partial w_{ij}}}={\frac {\partial E }{\częściowy o_{j}}}{\frac {\częściowy o_{j}}{\częściowy {\text{net}}_{j}}}o_{i}}$

${\ Displaystyle {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}} = o_ {i} \ delta _ {j}}$

z

${\ Displaystyle \ delta _ {j} = {\ Frac {\ częściowy E} {\ częściowy o_ {j}}} {\ Frac {\ częściowy o_ {j}} {\ częściowy {\ tekst {net}} _ { j}}}={\begin{przypadki}{\frac {\częściowe L(o_{j},t)}{\częściowe o_{j}}}{\frac {d\varphi ({\text{net} }_{j})}{d{\text{net}}_{j}}}&{\text{if }}j{\text{ jest neuronem wyjściowym,}}\\(\sum _{\ ell \in L}w_{j\ell }\delta _{\ell }){\frac {d\varphi ({\text{sieć}}_{j})}{d{\text{sieć}}_ {j}}}&{\text{if }}j{\text{ jest neuronem wewnętrznym.}}\end{cases}}}$

if jest funkcją logistyczną, a błąd jest błędem kwadratowym: ${\displaystyle \varphi}$

${\ Displaystyle \ delta _ {j} = {\ Frac {\ częściowy E} {\ częściowy o_ {j}}} {\ Frac {\ częściowy o_ {j}} {\ częściowy {\ tekst {net}} _ { j}}}={\begin{przypadki}(o_{j}-t_{j})o_{j}(1-o_{j})&{\text{if }}j{\text{ jest wyjściem neuron,}}\\(\sum _{\ell \in L}w_{j\ell }\delta _{\ell })o_{j}(1-o_{j})&{\text{if } }j{\text{ jest neuronem wewnętrznym.}}\end{cases}}}$

Aby zaktualizować wagę za pomocą opadania gradientowego, należy wybrać tempo nauki, . Zmiana wagi musi odzwierciedlać wpływ wzrostu lub spadku . Jeśli , wzrost wzrasta ; odwrotnie, jeśli , wzrost maleje . Nowa jest dodawana do starej wagi, a iloczyn szybkości uczenia się i gradientu pomnożony przez gwarancje zmienia się w sposób, który zawsze maleje . Innymi słowy, w równaniu bezpośrednio poniżej zawsze zmienia się w taki sposób, że jest zmniejszany: ${\displaystyle w_{ij}}$${\ Displaystyle \ eta > 0}$${\ Displaystyle E}$${\displaystyle w_{ij}}$${\ Displaystyle {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}}> 0}$${\displaystyle w_{ij}}$${\ Displaystyle E}$${\ Displaystyle {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}} <0}$${\displaystyle w_{ij}}$${\ Displaystyle E}$${\ Displaystyle \ Delta w_ {ij}}$${\ Displaystyle -1}$${\displaystyle w_{ij}}$${\ Displaystyle E}$${\ Displaystyle - \ eta {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}}}$${\displaystyle w_{ij}}$${\ Displaystyle E}$

${\ Displaystyle \ Delta w_ {ij} = - \ eta {\ Frac {\ częściowy E} {\ częściowy w_ {ij}}} = - \ eta o_ {i} \ delta _ {j}}$

Funkcja strat

Funkcja straty to funkcja, która odwzorowuje wartości jednej lub więcej zmiennych na liczbę rzeczywistą, intuicyjnie reprezentującą pewien „koszt” związany z tymi wartościami. W przypadku propagacji wstecznej funkcja straty oblicza różnicę między wyjściem sieci a jego oczekiwanym wyjściem, po tym, jak przykład uczący propaguje się w sieci.

Założenia

Wyrażenie matematyczne funkcji straty musi spełniać dwa warunki, aby mogło być użyte w propagacji wstecznej. Pierwszym z nich jest to, że można go zapisać jako średnią z funkcji błędów , dla poszczególnych przykładów uczących, . Powodem tego założenia jest to, że algorytm wstecznej propagacji błędów oblicza gradient funkcji błędu dla pojedynczego przykładu uczącego, który należy uogólnić do funkcji błędu całkowitego. Drugim założeniem jest to, że można go zapisać jako funkcję wyjść z sieci neuronowej. ${\textstyle E={\frac {1}{n}}\sum _{x}E_{x}}$${\textstyle E_{x}}$${\textstyle n}$${\styl tekstu x}$

Przykładowa funkcja straty

Niech będą wektorami w . ${\displaystyle y,y'}$${\ Displaystyle \ mathbb {R} ^ {n}}$

Wybierz funkcję błędu mierzącą różnicę między dwoma wyjściami. Standardowym wyborem jest kwadrat odległości euklidesowej między wektorami i :${\displaystyle E(y,y')}$${\displaystyle y}$${\displaystyle y'}$

Funkcję błędu na przykładach uczących można następnie zapisać jako średnią strat na poszczególnych przykładach:${\textstyle n}$

Ograniczenia

• Opadanie gradientu z propagacją wsteczną nie gwarantuje znalezienia globalnego minimum funkcji błędu, a jedynie minimum lokalne; ma również problemy z przekraczaniem płaskowyżów w krajobrazie funkcji błędów. Ten problem, spowodowany brakiem wypukłości funkcji błędu w sieciach neuronowych, był długo uważany za główną wadę, ale Yann LeCun i in. twierdzą, że w wielu praktycznych problemach tak nie jest.
• Uczenie się z propagacją wsteczną nie wymaga normalizacji wektorów wejściowych; jednak normalizacja może poprawić wydajność.
• Propagacja wsteczna wymaga, aby pochodne funkcji aktywacji były znane w czasie projektowania sieci.

Historia

Termin propagacja wsteczna i jego ogólne zastosowanie w sieciach neuronowych został ogłoszony w Rumelhart, Hinton i Williams (1986a) , a następnie opracowany i spopularyzowany w Rumelhart, Hinton i Williams (1986b) , ale technika ta była wielokrotnie odkrywana niezależnie i miała wielu datowanych do lat sześćdziesiątych.

Podstawy ciągłej propagacji wstecznej zostały wyprowadzone w kontekście teorii sterowania przez Henry'ego J. Kelleya w 1960 roku i przez Arthura E. Brysona w 1961 roku. Wykorzystali oni zasady programowania dynamicznego . W 1962 Stuart Dreyfus opublikował prostsze wyprowadzenie oparte jedynie na zasadzie łańcucha . Bryson i Ho opisali ją jako wielostopniową metodę dynamicznej optymalizacji systemu w 1969 roku . Propagację wsteczną wyprowadzili wielu badaczy we wczesnych latach 60-tych i wdrożył do działania na komputerach już w 1970 roku przez Seppo Linnainmaa . Paul Werbos jako pierwszy w USA zaproponował, że może być używany w sieciach neuronowych po dogłębnej analizie w swojej pracy doktorskiej z 1974 roku. Chociaż nie zastosowano go do sieci neuronowych, w 1970 roku Linnainmaa opublikował ogólną metodę automatycznego różnicowania (AD). Chociaż jest to bardzo kontrowersyjne, niektórzy naukowcy uważają, że był to w rzeczywistości pierwszy krok w kierunku opracowania algorytmu propagacji wstecznej. W 1973 Dreyfus dostosowuje parametry regulatorów proporcjonalnie do gradientów błędów. W 1974 r. Werbos wspomniał o możliwości zastosowania tej zasady do sztucznych sieci neuronowych, aw 1982 r. zastosował metodę AD Linnainmaa do funkcji nieliniowych.

Później metoda Werbosa została ponownie odkryta i opisana w 1985 roku przez Parkera, aw 1986 roku przez Rumelharta , Hintona i Williamsa . Rumelhart, Hinton i Williams pokazali eksperymentalnie, że ta metoda może generować przydatne wewnętrzne reprezentacje przychodzących danych w ukrytych warstwach sieci neuronowych. Yann LeCun zaproponował nowoczesną formę algorytmu uczenia propagacji wstecznej dla sieci neuronowych w swojej pracy doktorskiej w 1987 roku. W 1993 roku Eric Wan wygrał międzynarodowy konkurs rozpoznawania wzorców poprzez wsteczną propagację błędów.

W 2000 roku wypadł z łask, ale powrócił w 2010 roku, korzystając z tanich, wydajnych systemów obliczeniowych opartych na GPU . Dotyczy to zwłaszcza rozpoznawania mowy , widzenia maszynowego , przetwarzania języka naturalnego i badań nad uczeniem się struktur językowych (w których używa się go do wyjaśniania różnych zjawisk związanych z uczeniem się pierwszego i drugiego języka).

Zasugerowano, że wsteczna propagacja błędów wyjaśnia komponenty ERP ludzkiego mózgu , takie jak N400 i P600 .

Zobacz też

• Sztuczna sieć neuronowa
• Biologiczna sieć neuronowa
• Katastrofalne zakłócenia
• Nauka zespołowa
• AdaBoost
• Dopasowanie
• Neuralna propagacja wsteczna
• Propagacja wsteczna w czasie

Uwagi

Bibliografia

Dalsza lektura

• Dobry przyjaciel, Ian ; Bengio, Yoshua ; Courville, Aaron (2016). „6.5 Propagacja wsteczna i inne algorytmy różniczkowania” . Głębokie uczenie . MIT Naciśnij. s. 200–220. Numer ISBN 9780262035613.
• Nielsen, Michael A. (2015). „Jak działa algorytm wstecznej propagacji błędów” . Sieci neuronowe i głębokie uczenie . Oznaczanie Naciśnij.
• McCaffrey, James (październik 2012). "Propagacja wsteczna sieci neuronowych dla programistów" . Magazyn MSDN .
• Rojas, Raul (1996). „Algorytm wstecznej propagacji błędów” (PDF) . Sieci neuronowe: systematyczne wprowadzenie . Berlin: Springer. Numer ISBN 3-540-60505-3.

Zewnętrzne linki

• Samouczek dotyczący sieci neuronowej z propagacją wsteczną na Wikiversity
• Bernackiego, Mariusza; Włodarczyk, Przemysław (2004). „Zasady uczenia wielowarstwowych sieci neuronowych z wykorzystaniem wstecznej propagacji błędów” .
• Karpathy, Andrej (2016). „Wykład 4: Propagacja wsteczna, sieci neuronowe 1” . CS231n . Uniwersytet Stanforda – przez YouTube .
• „Co naprawdę robi propagacja wsteczna?” . 3Niebieski1Brązowy . 3 listopada 2017 – przez YouTube .