Sieć głębokich przekonań - Deep belief network

Schematyczny przegląd sieci głębokich przekonań. Strzałki reprezentują skierowane połączenia w modelu graficznym, który reprezentuje sieć.

Część serii na
Uczenie maszynowe i eksploracja danych
Problemy Klasyfikacja Grupowanie Regresja Wykrywanie anomalii AutoML Zasady stowarzyszenia Uczenie się ze wzmocnieniem Strukturyzowane przewidywanie Inżynieria cech Uczenie się funkcji Nauka online Uczenie się częściowo nadzorowane Uczenie się bez nadzoru Nauka rangi Wprowadzenie do gramatyki
Uczenie nadzorowane ( klasyfikacja  • regresja ) Drzewa decyzyjne Zespoły Parcianka Wzmocnienie Losowy las k -NN Regresja liniowa Naiwny Bayes Sztuczne sieci neuronowe Regresja logistyczna Perceptron Maszyna wektorów istotności (RVM) Maszyna wektorów nośnych (SVM)
Grupowanie BRZOZOWY LEKARSTWO Hierarchiczne k- oznacza Oczekiwanie - maksymalizacja (EM) DBSCAN OPTYKA Zmiana średnia
Redukcja wymiarowości Analiza czynników CCA ICA LDA NMF PCA PGD t-SNE
Strukturyzowane przewidywanie Modele graficzne Sieć Bayesa Warunkowe pole losowe Ukryty Markov
Wykrywanie anomalii k -NN Lokalny czynnik odstający
Sztuczna sieć neuronowa Autoencoder Obliczenia kognitywne Głęboka nauka DeepDream Perceptron wielowarstwowy RNN LSTM GRU ESN Ograniczona maszyna Boltzmanna GAN SOM Konwolucyjna sieć neuronowa U-Net Transformator Uderzająca sieć neuronowa Memtransistor Elektrochemiczna pamięć RAM (ECRAM)
Uczenie się ze wzmocnieniem Q-learning SARSA Różnica czasowa (TD)
Teoria Kompromis między odchyleniem a wariancją Obliczeniowa teoria uczenia się Empiryczna minimalizacja ryzyka Nauka Occam Nauka PAC Uczenie się statystyczne Teoria VC
Miejsca uczenia maszynowego NeurIPS ICML ML JMLR ArXiv: cs.LG
Słowniczek sztucznej inteligencji Słowniczek sztucznej inteligencji
Powiązane artykuły Lista zbiorów danych do badań nad uczeniem maszynowym Zarys uczenia maszynowego
v t mi

W uczeniu maszynowym , sieć głębokich przekonań ( DBN ) jest generatywnym modelem graficznym lub alternatywnie klasą głębokich sieci neuronowych , złożoną z wielu warstw ukrytych zmiennych („ukrytych jednostek”), z połączeniami między warstwami, ale nie między jednostkami w każda warstwa.

Po przeszkoleniu na zestawie przykładów bez nadzoru DBN może nauczyć się probabilistycznej rekonstrukcji swoich danych wejściowych. Warstwy działają następnie jako detektory cech . Po tym etapie uczenia DBN może być dalej szkolony pod nadzorem w zakresie przeprowadzania klasyfikacji .

Sieci DBN można postrzegać jako zbiór prostych, nienadzorowanych sieci, takich jak ograniczone maszyny Boltzmanna (RBM) lub autoenkodery , w których ukryta warstwa każdej podsieci służy jako warstwa widoczna dla następnej. RBM to nieukierunkowany , generujący model oparty na energii z „widoczną” warstwą wejściową i warstwą ukrytą oraz połączeniami między warstwami, ale nie wewnątrz nich. Ta kompozycja prowadzi do szybkiej, nienadzorowanej procedury uczenia warstwa po warstwie, w której rozbieżność kontrastująca jest stosowana po kolei do każdej podsieci, zaczynając od „najniższej” pary warstw (najniższa widoczna warstwa to zbiór uczący ).

Spostrzeżenie, że DBN można chciwie trenować , warstwa po warstwie, doprowadziło do powstania jednego z pierwszych skutecznych algorytmów głębokiego uczenia się . Ogólnie rzecz biorąc, istnieje wiele atrakcyjnych implementacji i zastosowań DBN w rzeczywistych zastosowaniach i scenariuszach (np. Elektroencefalografia , odkrywanie leków ).

Trening

Ograniczony maszyny Boltzmanna (KMS) w pełni widzialne i związanych jednostek ukrytych. Zauważ, że nie ma żadnych ukrytych-ukrytych ani widocznych-widocznych połączeń.

Metoda szkolenia KMS zaproponowana przez Geoffreya Hintona do wykorzystania w modelach treningowych „Produkt eksperta” nazywa się dywergencją kontrastową (CD). CD zapewnia przybliżenie metody największej wiarygodności , która idealnie byłaby zastosowana do uczenia się wag. Podczas treningu z pojedynczym RBM aktualizacje masy są wykonywane z opadaniem gradientu za pomocą następującego równania: ${\ Displaystyle w_ {ij} (t + 1) = w_ {ij} (t) + \ eta {\ frac {\ częściowe \ log (p (v))} {\ częściowe w_ {ij}}}}$

gdzie jest prawdopodobieństwem widocznego wektora, które jest podane przez . to funkcja podziału (używana do normalizacji) i funkcja energii przypisana do stanu sieci. Niższa energia wskazuje, że sieć jest w bardziej „pożądanej” konfiguracji. Gradient ma prostą postać, w której przedstawia średnie w odniesieniu do rozkładu . Problem pojawia się przy próbkowaniu, ponieważ wymaga to rozszerzonego próbkowania naprzemiennego Gibbsa . CD zastępuje ten krok, uruchamiając naprzemienne próbkowanie Gibbsa dla kroków (wartości wykonania dobrze). Po krokach dane są próbkowane i ta próbka jest używana zamiast . Procedura CD działa w następujący sposób: ${\ displaystyle p (v)}$${\ Displaystyle p (v) = {\ Frac {1} {Z}} \ suma _ {h} e ^ {- E (v, h)}}$${\ displaystyle Z}$${\ Displaystyle E (v, h)}$${\ Displaystyle {\ Frac {\ częściowe \ log (p (v))} {\ częściowe w_ {ij}}}}$${\ displaystyle \ langle v_ {i} h_ {j} \ rangle _ {\ text {data}} - \ langle v_ {i} h_ {j} \ rangle _ {\ text {model}}}$${\ displaystyle \ langle \ cdots \ rangle _ {p}}$${\ displaystyle p}$${\ displaystyle \ langle v_ {i} h_ {j} \ rangle _ {\ text {model}}}$${\ displaystyle n}$${\ displaystyle n = 1}$${\ displaystyle n}$${\ displaystyle \ langle v_ {i} h_ {j} \ rangle _ {\ text {model}}}$

1. Zainicjuj widoczne jednostki do wektora szkoleniowego.
2. Zaktualizować ukrytych jednostek równolegle podane widoczne jednostki: . jest funkcją sigmoidalną i jest odchyleniem . ${\ displaystyle p (h_ {j} = 1 \ mid {\ textbf {V}}) = \ sigma (b_ {j} + \ suma _ {i} v_ {i} w_ {ij})}$${\ displaystyle \ sigma}$${\ displaystyle b_ {j}}$${\ displaystyle h_ {j}}$
3. Aktualizować widocznych jednostek równolegle podane te ukryte jednostki: . jest stronniczością . Nazywa się to krokiem „rekonstrukcji”. ${\ displaystyle p (v_ {i} = 1 \ mid {\ textbf {H}}) = \ sigma (a_ {i} + \ suma _ {j} h_ {j} w_ {ij})}$${\ displaystyle a_ {i}}$${\ displaystyle v_ {i}}$
4. Ponownie zaktualizuj ukryte jednostki równolegle, biorąc pod uwagę zrekonstruowane widoczne jednostki, używając tego samego równania, co w kroku 2.
5. Wykonać aktualizację waga: . ${\ displaystyle \ Delta w_ {ij} \ propto \ langle v_ {i} h_ {j} \ rangle _ {\ text {data}} - \ langle v_ {i} h_ {j} \ rangle _ {\ text {rekonstrukcja }}}$

Po wytrenowaniu RBM, na nim „układa się” inny RBM, pobierając dane wejściowe z ostatniej wytrenowanej warstwy. Nowa widoczna warstwa jest inicjowana w wektorze szkoleniowym, a wartości jednostek w już wytrenowanych warstwach są przypisywane przy użyciu bieżących wag i odchyleń. Nowy KMS jest następnie szkolony zgodnie z powyższą procedurą. Cały proces powtarza się, aż do spełnienia żądanego kryterium zatrzymania.

Chociaż przybliżenie CD do maksymalnego prawdopodobieństwa jest surowe (nie jest zgodne z gradientem żadnej funkcji), jest empirycznie skuteczne.

Zobacz też

• Sieć bayesowska
• Głęboka nauka
• Konwolucyjna sieć głębokich przekonań
• Model oparty na energii

Bibliografia

Zewnętrzne linki

• „Sieci głębokich przekonań” . Samouczki głębokiego uczenia się .
• „Przykład sieci głębokich przekonań” . Poradniki Deeplearning4j . Zarchiwizowane od oryginału w dniu 2016-10-03 . Źródło 2015-02-22 .