Rprop - Rprop
Rprop , skrót sprężystego wstecznej propagacji błędów , jest uczenie heurystyczny dla nadzorowanego uczenia się w antycypacyjnych sztucznych sieci neuronowych . Jest to pierwsze zamówienie optymalizacji algorytmu . Algorytm ten został stworzony przez Martina Riedmiller i Heinricha Brauna w 1992 roku.
Podobnie jak w przypadku zasady aktualizacji Manhattan , Rprop uwzględnia jedynie znak o częściowej pochodnej na wszystkich wzorów (nie wartość bezwzględna) i działa niezależnie w każdym „masy”. Dla każdej z wag, jeśli nastąpiła zmiana znakiem częściowej pochodną ogólnej funkcji błędu w porównaniu do ostatniej iteracji, wartość aktualizacji dla tej wagi jest mnożona przez współczynnik rj - , gdzie η - <1. Jeżeli ostatnia iteracja produkowane taki sam znak, wartość aktualizacja jest mnożona przez współczynnik r | + , gdzie η + > 1. aktualizacji wartości są obliczane dla każdej masy w powyższy sposób, a na końcu każdej masy zmienia się jego wartości aktualizacji, w kierunku przeciwnym do tego ciężaru w częściowej pochodnej, w celu zminimalizowania całkowitej funkcji błędu. η + jest nastawiać doświadczalnie 1,2 rj - 0,5.
Obok algorytmu kaskada korelacji oraz algorytmu Levenberg-Marquardt , Rprop jest jednym z najszybszych mechanizmów aktualizacji wagi.
RPROP jest algorytm zmiana partii.
Wariacje
Martin Riedmiller opracowała trzy algorytmy, wszystkie o nazwie RPROP. Igel i Hüsken przypisane do nich nazwy i dodaje nowy wariant:
- RPROP + jest zdefiniowana w bezpośrednim Metoda adaptacyjnym dla szybszego wstecznej propagacji błędów Learning: the RPROP Algorithm .
- RPROP- jest zdefiniowana w zaawansowane uczenia nadzorowanego w perceptrony wielowarstwowych - od wstecznej propagacji błędów algorytmów Adaptacyjne uczenie się . Wycofywania jest usuwany z RPROP +.
- iRPROP- jest zdefiniowana w Rprop - opis i szczegóły implementacji i został odkryty na nowo przez Igel i Hüsken. Wariant ten jest bardzo popularny i najbardziej proste.
- iRPROP + jest zdefiniowana Poprawa algorytmu uczenia Rprop i jest bardzo wytrzymałe i zazwyczaj szybciej niż dla innych trzech wariantach.