Regularyzacja (matematyka) - Regularization (mathematics)

Funkcje zielony i niebieski powodują zerową stratę w podanych punktach danych. Wyuczony model można skłonić do preferowania funkcji zielonej, która może lepiej uogólniać więcej punktów wyciągniętych z podstawowego nieznanego rozkładu, dostosowując wagę składnika regularyzacji. ${\ displaystyle \ lambda}$

W matematyce , statystyce , finansach , informatyce , zwłaszcza w uczeniu maszynowym i problemach odwrotnych , regularyzacja jest procesem dodawania informacji w celu rozwiązania źle postawionego problemu lub zapobieżenia nadmiernemu dopasowaniu .

Regularyzację można zastosować do funkcji celu w źle postawionych problemach optymalizacyjnych. Okres regularyzacji lub kara nakłada koszt na funkcję optymalizacji, aby optymalne rozwiązanie było unikalne.

Niezależnie od problemu lub modelu zawsze istnieje termin danych, który odpowiada prawdopodobieństwu pomiaru, oraz składnik regularyzacyjny, który odpowiada wcześniejszemu. Łącząc oba przy użyciu statystyki bayesowskiej, można obliczyć późniejszy, który obejmuje oba źródła informacji, a tym samym stabilizuje proces estymacji. Odkupując oba cele, decyduje się na większe uzależnienie od danych lub wymuszenie uogólnienia (aby zapobiec nadmiernemu dopasowaniu). Istnieje cała gałąź badań zajmująca się wszystkimi możliwymi regularyzacjami. Przebieg pracy zwykle polega na tym, że próbuje się określonej regularyzacji, a następnie oblicza gęstość prawdopodobieństwa, która odpowiada tej regularyzacji, aby uzasadnić wybór. Może też być motywowane fizycznie przez zdrowy rozsądek lub intuicję, co jest trudniejsze.

W uczeniu maszynowym termin danych odnosi się do danych szkoleniowych, a regularyzacja to wybór modelu lub modyfikacje algorytmu. Ma to zawsze na celu zmniejszenie błędu uogólnienia, tj. Wyniku błędu z wytrenowanym modelem w zbiorze ewaluacyjnym, a nie danych uczących.

Jednym z najwcześniejszych zastosowań regularyzacji jest metoda najmniejszych kwadratów. Obliczona gęstość prawdopodobieństwa to rozkład Gaussa, znany obecnie pod nazwą „regularyzacja Tichonowa”.

Klasyfikacja

Empiryczne uczenie się klasyfikatorów (ze skończonego zbioru danych) jest zawsze niedookreślonym problemem, ponieważ próbuje wywnioskować funkcję dowolnych podanych tylko przykładów . ${\ displaystyle x}$${\ Displaystyle x_ {1}, x_ {2}, ... x_ {n}}$

Do funkcji straty dodawany jest termin regularyzacji (lub regularyzator) : ${\ displaystyle R (f)}$

${\ Displaystyle \ min _ {f} \ suma _ {i = 1} ^ {n} V (f (x_ {i}), y_ {i}) + \ lambda R (f)}$

gdzie jest podstawowa funkcja straty, która opisuje koszt przewidywania, kiedy etykieta jest , taka jak strata kwadratowa lub strata zawiasowa ; i jest parametrem, który kontroluje ważność terminu regularyzacji. jest zwykle wybierany w celu nałożenia kary na złożoność . Konkretne pojęcia złożoności obejmują ograniczenia gładkości i ograniczenia normy przestrzeni wektorowej . ${\ displaystyle V}$${\ displaystyle f (x)}$${\ displaystyle y}$${\ displaystyle \ lambda}$${\ displaystyle R (f)}$${\ displaystyle f}$

Teoretycznym uzasadnieniem dla regularyzacji jest to, że próbuje narzucić brzytwę Ockhama na rozwiązanie (jak pokazano na powyższym rysunku, gdzie zielona funkcja, prostsza, może być preferowana). Z punktu widzenia bayesowskiego wiele technik regularyzacji odpowiada narzucaniu pewnych wcześniejszych rozkładów na parametry modelu.

Regularyzacja może służyć wielu celom, w tym uczeniu się prostszych modeli, skłanianiu modeli i wprowadzaniu struktury grupowej do problemu uczenia się.

Ta sama idea zrodziła się w wielu dziedzinach nauki . Prosta forma regularyzacji zastosowana do równań całkowych ( regularyzacja Tichonowa ) jest zasadniczo kompromisem między dopasowaniem danych a redukcją normy rozwiązania. Niedawno popularne stały się metody regularyzacji nieliniowej, w tym regularyzacji całkowitej zmienności .

Uogólnienie

Regularyzację można motywować jako technikę poprawy możliwości uogólniania wyuczonego modelu.

Celem tego problemu uczenia się jest znalezienie funkcji, która pasuje lub przewiduje wynik (etykieta), która minimalizuje oczekiwany błąd we wszystkich możliwych wejściach i etykietach. Oczekiwany błąd funkcji to: ${\ displaystyle f_ {n}}$

${\ Displaystyle I [F_ {n}] = \ int _ {X \ razy Y} V (F_ {n} (x), y) \ rho (x, y) \, dx \, dy}$

gdzie i są odpowiednio domenami danych wejściowych i ich etykietami . ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle x}$${\ displaystyle y}$

Zazwyczaj w przypadku problemów z nauką dostępny jest tylko podzbiór danych wejściowych i etykiet, mierzonych z pewnym szumem. Dlatego oczekiwany błąd jest niemierzalny, a najlepszym dostępnym zastępnikiem jest błąd empiryczny w dostępnych próbkach: ${\ displaystyle N}$

${\ Displaystyle I_ {S} [f_ {n}] = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {N} V (f_ {n} ({\ kapelusz {x}} _ {i}), {\ hat {y}} _ {i})}$

Bez ograniczeń złożoności dostępnej przestrzeni funkcji (formalnie odtwarzanej przestrzeni jądra Hilberta ), zostanie poznany model, który powoduje zerową stratę na zastępczym błędzie empirycznym. Jeśli pomiary (np. ) Zostały wykonane z szumem, model ten może cierpieć z powodu nadmiernego dopasowania i wyświetlać słaby oczekiwany błąd. Regularyzacja wprowadza karę za badanie pewnych obszarów przestrzeni funkcji wykorzystywanej do budowy modelu, co może poprawić generalizację. ${\ displaystyle x_ {i}}$

Regularyzacja Tichonowa

Techniki te zostały nazwane na cześć Andrieja Nikołajewicza Tichonowa , który zastosował regularyzację do równań całkowych i wniósł ważny wkład w wielu innych dziedzinach.

Ucząc się funkcji liniowej , charakteryzującej się nieznanym wektorem, takim, że można dodać -normy wektora do wyrażenia straty, aby preferować rozwiązania o mniejszych normach. Regularyzacja Tichonowa jest jedną z najpowszechniejszych form. Jest również znany jako regresja grzbietu. Wyraża się jako: ${\ displaystyle f}$ ${\ displaystyle w}$${\ displaystyle f (x) = w \ cdot x}$${\ displaystyle L_ {2}}$${\ displaystyle w}$

${\ Displaystyle \ min _ {w} \ suma _ {i = 1} ^ {n} V ({\ kapelusz {x}} _ {i} \ cdot w, {\ kapelusz {y}} _ {i}) + \ lambda \ | w \ | _ {2} ^ {2}}$ ,

gdzie reprezentowałby próbki używane do szkolenia. ${\ Displaystyle ({\ kapelusz {x}} _ {i}, {\ kapelusz {y}} _ {i}), \, 1 \ równoważnik i \ równoważnik n,}$

W przypadku funkcji ogólnej normą funkcji w jej odtwarzającym jądrze przestrzeni Hilberta jest:

${\ Displaystyle \ min _ {f} \ suma _ {i = 1} ^ {n} V (f ({\ kapelusz {x}} _ {i}), {\ kapelusz {y}} _ {i}) + \ lambda \ | f \ | _ {\ mathcal {H}} ^ {2}}$

Ponieważ norma jest różniczkowalna , uczenie się można przyspieszyć poprzez zejście gradientowe . ${\ displaystyle L_ {2}}$

Tichonow uregulowane metodą najmniejszych kwadratów

Problem uczenia się z funkcją straty najmniejszych kwadratów i regularyzacją Tichonowa można rozwiązać analitycznie. Zapisany w postaci macierzowej optymalny to taki, dla którego gradient funkcji straty względem wynosi 0. ${\ displaystyle w}$${\ displaystyle w}$

${\ Displaystyle \ min _ {w} {\ Frac {1} {n}} ({\ kapelusz {X}} wY) ^ {T} ({\ kapelusz {X}} wY) + \ lambda \ | w \ | _ {2} ^ {2}}$

${\ Displaystyle \ nabla _ {w} = {\ Frac {2} {n}} {\ kapelusz {X}} ^ {T} ({\ kapelusz {X}} wY) +2 \ lambda w}$

${\ Displaystyle 0 = {\ kapelusz {X}} ^ {T} ({\ kapelusz {X}} wY) + n \ lambda w}$    ( warunek pierwszego rzędu )

${\ Displaystyle w = ({\ kapelusz {X}} ^ {T} {\ kapelusz {X}} + \ lambda nI) ^ {- 1} ({\ kapelusz {X}} ^ {T} Y)}$

Konstruując problem optymalizacji, inne wartości dają większe wartości funkcji straty. Można to zweryfikować, badając drugą pochodną . ${\ displaystyle w}$ ${\ displaystyle \ nabla _ {ww}}$

Podczas treningu ten algorytm wymaga czasu . Terminy odpowiadają odpowiednio inwersji macierzy i obliczeniom . Testowanie wymaga czasu. ${\ Displaystyle O (d ^ {3} + nd ^ {2})}$ ${\ displaystyle X ^ {T} X}$${\ Displaystyle O (nd)}$

Wczesne zatrzymanie

Wczesne zatrzymanie można postrzegać jako regularyzację w czasie. Intuicyjnie, procedura treningowa, taka jak zejście gradientowe, ma tendencję do uczenia się coraz bardziej złożonych funkcji wraz ze wzrostem liczby iteracji. Poprzez regulację czasu można kontrolować złożoność modelu, poprawiając uogólnienie.

Wczesne zatrzymywanie jest realizowane przy użyciu jednego zestawu danych do uczenia, jednego statystycznie niezależnego zestawu danych do walidacji i innego do testowania. Model jest szkolony do momentu, gdy wydajność w zestawie walidacyjnym nie będzie się poprawiać, a następnie zostanie zastosowany do zestawu testowego.

Motywacja teoretyczna metodą najmniejszych kwadratów

Rozważmy skończone przybliżenie szeregu Neumanna dla odwracalnej macierzy A, gdzie : ${\ Displaystyle \ | IA \ | <1}$

${\ Displaystyle \ sum _ {i = 0} ^ {T-1} (IA) ^ {i} \ około A ^ {- 1}}$

Można to wykorzystać do przybliżenia analitycznego rozwiązania nieregularnych najmniejszych kwadratów, jeśli wprowadzono γ, aby zapewnić, że norma jest mniejsza niż jeden.

${\ Displaystyle w_ {T} = {\ Frac {\ gamma} {n}} \ suma _ {i = 0} ^ {T-1} (ja - {\ frac {\ gamma} {n}} {\ kapelusz {X}} ^ {T} {\ hat {X}}) ^ {i} {\ hat {X}} ^ {T} {\ hat {Y}}}$

Dokładne rozwiązanie nieregularnego problemu uczenia się metodą najmniejszych kwadratów minimalizuje błąd empiryczny, ale może się nie powieść. Ograniczając T , jedyny wolny parametr w powyższym algorytmie, problem jest regulowany w czasie, co może poprawić jego uogólnienie.

Powyższy algorytm jest równoważny ograniczeniu liczby iteracji gradientu spadku dla ryzyka empirycznego

${\ Displaystyle I_ {s} [w] = {\ Frac {1} {2n}} \ | {\ kapelusz {X}} w - {\ kapelusz {Y}} \ | _ {\ mathbb {R} ^ { n}} ^ {2}}$

z aktualizacją zejścia gradientu:

${\ Displaystyle {\ rozpocząć {wyrównane} w_ {0} & = 0 \\ w_ {t + 1} & = (ja - {\ frac {\ gamma} {n}} {\ kapelusz {X}} ^ {T } {\ hat {X}}) w_ {t} + {\ frac {\ gamma} {n}} {\ hat {X}} ^ {T} {\ hat {Y}} \ end {aligned}}}$

Podstawowy przypadek jest trywialny. Przypadek indukcyjny jest udowodniony w następujący sposób:

${\ Displaystyle {\ rozpocząć {wyrównane} w_ {T} & = (ja - {\ frac {\ gamma} {n}} {\ kapelusz {X}} ^ {T} {\ kapelusz {X}}) {\ frac {\ gamma} {n}} \ sum _ {i = 0} ^ {T-2} (I - {\ frac {\ gamma} {n}} {\ hat {X}} ^ {T} {\ hat {X}}) ^ {i} {\ hat {X}} ^ {T} {\ hat {Y}} + {\ frac {\ gamma} {n}} {\ hat {X}} ^ {T } {\ hat {Y}} \\ & = {\ frac {\ gamma} {n}} \ sum _ {i = 1} ^ {T-1} (I - {\ frac {\ gamma} {n} } {\ hat {X}} ^ {T} {\ hat {X}}) ^ {i} {\ hat {X}} ^ {T} {\ hat {Y}} + {\ frac {\ gamma} {n}} {\ hat {X}} ^ {T} {\ hat {Y}} \\ & = {\ frac {\ gamma} {n}} \ sum _ {i = 0} ^ {T-1 } (I - {\ frac {\ gamma} {n}} {\ hat {X}} ^ {T} {\ hat {X}}) ^ {i} {\ hat {X}} ^ {T} { \ hat {Y}} \ end {aligned}}}$

Regulatory dla rzadkości

Załóżmy, że słownik z wymiarem jest podany w taki sposób, że funkcja w przestrzeni funkcyjnej może być wyrażona jako: ${\ displaystyle \ phi _ {j}}$${\ displaystyle p}$

${\ Displaystyle f (x) = \ suma _ {j = 1} ^ {p} \ phi _ {j} (x) w_ {j}}$

Porównanie między kulką L1 i kulką L2 w dwóch wymiarach daje intuicję, w jaki sposób regularyzacja L1 prowadzi do rzadkości.

Wymuszenie ograniczenia rzadkości może prowadzić do prostszych i bardziej interpretowalnych modeli. Jest to przydatne w wielu rzeczywistych zastosowaniach, takich jak biologia obliczeniowa . Przykładem jest opracowanie prostego testu predykcyjnego dla choroby w celu zminimalizowania kosztów przeprowadzania testów medycznych przy jednoczesnej maksymalizacji mocy predykcyjnej. ${\ displaystyle w}$

Rozsądnym ograniczeniem rzadkości jest norma , definiowana jako liczba niezerowych elementów w . Okazało się jednak, że rozwiązanie uregulowanego problemu uczenia się jest NP-trudne . ${\ displaystyle L_ {0}}$ ${\ displaystyle \ | w \ | _ {0}}$${\ displaystyle w}$${\ displaystyle L_ {0}}$

Normy (patrz także Norm ) może być stosowany do w przybliżeniu optymalnego normy poprzez wypukłą odprężenia. Można wykazać, że norma prowadzi do rzadkości. W przypadku najmniejszych kwadratów, problem ten jest znany jako lasso w statystykach i podstawa pogoni w przetwarzaniu sygnału. ${\ displaystyle L_ {1}}$${\ displaystyle L_ {0}}$${\ displaystyle L_ {1}}$

${\ Displaystyle \ min _ {w \ in \ mathbb {R} ^ {p}} {\ frac {1} {n}} \ | {\ kapelusz {X}} w - {\ kapelusz {Y}} \ | ^ {2} + \ lambda \ | w \ | _ {1}}$

Elastyczna regularyzacja sieci

${\ displaystyle L_ {1}}$ Regularyzacja może czasami dawać nieunikalne rozwiązania. Prosty przykład przedstawiono na rysunku, gdzie przestrzeń możliwych rozwiązań leży na linii pod kątem 45 stopni. Może to być problematyczne w przypadku niektórych zastosowań i jest przezwyciężane poprzez połączenie z regularyzacją w regularyzacji elastycznej sieci , która przyjmuje następującą postać: ${\ displaystyle L_ {1}}$${\ displaystyle L_ {2}}$

${\ Displaystyle \ min _ {w \ in \ mathbb {R} ^ {p}} {\ frac {1} {n}} \ | {\ kapelusz {X}} w - {\ kapelusz {Y}} \ | ^ {2} + \ lambda (\ alpha \ | w \ | _ {1} + (1- \ alpha) \ | w \ | _ {2} ^ {2}), \ alpha \ in [0,1] }$

Elastyczna regularyzacja sieci ma zwykle efekt grupowania, w którym skorelowanym cechom wejściowym przypisuje się równe wagi.

Elastyczna regularyzacja sieci jest powszechnie stosowana w praktyce i jest implementowana w wielu bibliotekach uczenia maszynowego.

Metody proksymalne

Chociaż norma nie prowadzi do problemu NP-trudnego, norma jest wypukła, ale nie jest ściśle różniczkowalna ze względu na załamanie przy x = 0. Metody subgradientowe, które opierają się na pochodnej cząstkowej, mogą być używane do rozwiązywania uregulowanych problemów uczenia się. Jednak szybszą konwergencję można osiągnąć metodami proksymalnymi. ${\ displaystyle L_ {1}}$${\ displaystyle L_ {1}}$${\ displaystyle L_ {1}}$

W przypadku błędu , tak że jest wypukła, ciągłe różniczkowalną z Lipschitz ciągłe frakcjonowanie (na przykład jako funkcję co najmniej strat kwadraty) i wypukła, ciągłe i prawidłowe, to wówczas sposób proksymalnie do rozwiązania tego problemu jest następujący. Najpierw zdefiniuj operator proksymalny${\ Displaystyle \ min _ {w \ w H} F (w) + R (w)}$${\ displaystyle F}$${\ displaystyle R}$

${\ displaystyle \ operatorname {prox} _ {R} (v) = \ operatorname {argmin} \ limits _ {w \ in \ mathbb {R} ^ {D}} \ {R (w) + {\ Frac {1 } {2}} \ | wv \ | ^ {2} \},}$

a następnie wykonaj iterację

${\ Displaystyle w_ {k + 1} = \ operatorname {prox} \ limity _ {\ gamma, R} (w_ {k} - \ gamma \ nabla F (w_ {k}))}$

Metoda proksymalna iteracyjnie wykonuje zejście gradientowe, a następnie rzutuje wynik z powrotem do przestrzeni dozwolonej przez . ${\ displaystyle R}$

Kiedy jest regulatorem, operator proksymalny jest odpowiednikiem operatora miękkiego progowania, ${\ displaystyle R}$${\ displaystyle L_ {1}}$

${\ Displaystyle S _ {\ lambda} (v) f (n) = {\ rozpocząć {przypadków} v_ {i} - \ lambda, & {\ tekst {if}} v_ {i}> \ lambda \\ 0, & {\ text {if}} v_ {i} \ in [- \ lambda, \ lambda] \\ v_ {i} + \ lambda, & {\ text {if}} v_ {i} <- \ lambda \ end { przypadki}}}$

Pozwala to na wydajne obliczenia.

Nieliczność grup bez nakładania się

Grupy cech można regulować ograniczeniem rzadkości, co może być przydatne do wyrażania pewnej wcześniejszej wiedzy w problemie optymalizacji.

W przypadku modelu liniowego z nienakładającymi się znanymi grupami można zdefiniować regularyzator:

${\ Displaystyle R (w) = \ suma _ {g = 1} ^ {G} \ | w_ {g} \ | _ {2},}$ gdzie ${\ displaystyle \ | w_ {g} \ | _ {2} = {\ sqrt {\ sum _ {j = 1} ^ {| G_ {g} |} (w_ {g} ^ {j}) ^ {2 }}}}$

Można to postrzegać jako wprowadzenie regularyzatora ponad normę dotyczącą członków każdej grupy, po której następuje norma dotycząca grup. ${\ displaystyle L_ {2}}$${\ displaystyle L_ {1}}$

Można to rozwiązać za pomocą metody proksymalnej, w której operator proksymalny jest funkcją miękkiego progowania blokowego:

${\ displaystyle \ operatorname {prox} \ limitów _ {\ lambda, R, g} (w_ {g}) = {\ początek {przypadków} (1 - {\ Frac {\ lambda} {\ | w_ {g} \) | _ {2}}}) w_ {g}, & {\ text {if}} \ | w_ {g} \ | _ {2}> \ lambda \\ 0, & {\ text {if}} \ | w_ {g} \ | _ {2} \ leq \ lambda \ end {przypadki}}}$

Rzadkość grupowa z nakładaniem się

Algorytm opisany dla rzadkości grup bez nakładania się można zastosować w przypadku, gdy grupy nakładają się, w określonych sytuacjach. Prawdopodobnie spowoduje to, że niektóre grupy będą zawierały wszystkie elementy zerowe, a inne grupy będą zawierały elementy niezerowe i elementy zerowe.

Jeśli zachodzi potrzeba zachowania struktury grupy, można zdefiniować nowy regularyzator:

${\ Displaystyle R (w) = \ inf \ lewo \ {\ suma _ {g = 1} ^ {G} \ | w_ {g} \ | _ {2}: w = \ suma _ {g = 1} ^ {G} {\ bar {w}} _ {g} \ right \}}$

Dla każdego , jest zdefiniowany jako wektora tak, że ograniczenie dla grupy równych i wszystkie inne pozycje z mają wartość zero. Regularyzator znajduje optymalny rozkład na części. Można to postrzegać jako powielanie wszystkich elementów, które istnieją w wielu grupach. Problemy z nauką tego regulatora można również rozwiązać metodą proksymalną z komplikacją. Operator proksymalny nie może być obliczany w postaci zamkniętej, ale można go skutecznie rozwiązać iteracyjnie, wywołując wewnętrzną iterację w ramach bliższej iteracji metody. ${\ displaystyle w_ {g}}$${\ displaystyle {\ bar {w}} _ {g}}$${\ displaystyle {\ bar {w}} _ {g}}$${\ displaystyle g}$${\ displaystyle w_ {g}}$${\ displaystyle {\ bar {w}} _ {g}}$${\ displaystyle w}$

Regulatory do uczenia się częściowo nadzorowanego

Gdy zebranie etykiet jest droższe niż przykłady wejściowe, przydatne może być częściowo nadzorowane uczenie się. Regulatory zostały zaprojektowane w celu kierowania algorytmami uczenia się, aby uczyć się modeli, które uwzględniają strukturę nienadzorowanych próbek szkoleniowych. Jeśli podano symetryczną macierz wag , można zdefiniować regularyzator: ${\ displaystyle W}$

${\ Displaystyle R (f) = \ suma _ {ja, j} w_ {ij} (f (x_ {i}) - f (x_ {j})) ^ {2}}$

Jeśli koduje wynik pewnej miary odległości dla punktów i jest to pożądane . Ten regulator oddaje tę intuicję i jest równoważny z: ${\ displaystyle W_ {ij}}$${\ displaystyle x_ {i}}$${\ displaystyle x_ {j}}$${\ displaystyle f (x_ {i}) \ ok. f (x_ {j})}$

${\ displaystyle R (f) = {\ bar {f}} ^ {T} L {\ bar {f}}}$ gdzie jest macierz Laplaciana wykresu wywołanego przez . ${\ displaystyle L = DW}$${\ displaystyle W}$

Problem optymalizacji można rozwiązać analitycznie, jeśli ograniczenie zostanie zastosowane do wszystkich nadzorowanych próbek. Oznaczona część wektora jest zatem oczywista. Nieoznaczona część jest rozwiązana przez: ${\ Displaystyle \ min _ {fa \ in \ mathbb {R} ^ {m.}} R (fa), m = u + l}$${\ displaystyle f (x_ {i}) = y_ {i}}$${\ displaystyle f}$${\ displaystyle f}$

${\ displaystyle \ min _ {f_ {u} \ in \ mathbb {R} ^ {u}} f ^ {T} Lf = \ min _ {f_ {u} \ in \ mathbb {R} ^ {u}} \ {f_ {u} ^ {T} L_ {uu} f_ {u} + f_ {l} ^ {T} L_ {lu} f_ {u} + f_ {u} ^ {T} L_ {ul} f_ { l} \}}$

${\ displaystyle \ nabla _ {f_ {u}} = 2L_ {uu} f_ {u} + 2L_ {ul} Y}$

${\ displaystyle f_ {u} = L_ {uu} ^ {\ sztylet} (L_ {ul} Y)}$

Zauważ, że można przyjąć pseudoodwrotność, ponieważ ma taki sam zakres jak . ${\ displaystyle L_ {ul}}$${\ displaystyle L_ {uu}}$

Regulatory do nauki wielozadaniowej

W przypadku uczenia się wielozadaniowego problemy są rozpatrywane jednocześnie, każdy w jakiś sposób powiązany. Celem jest nauczenie się funkcji, najlepiej zapożyczonych ze związku zadań, które mają moc predykcyjną. Jest to równoważne uczeniu się macierzy . ${\ displaystyle T}$${\ displaystyle T}$${\ displaystyle W: T \ razy D}$

Rzadki regulator w kolumnach

${\ Displaystyle R (w) = \ suma _ {i = 1} ^ {D} \ | W \ | _ {2,1}}$

Ten regulator definiuje normę L2 dla każdej kolumny i normę L1 dla wszystkich kolumn. Można to rozwiązać metodami proksymalnymi.

Regularyzacja norm jądrowych

${\ Displaystyle R (w) = \ | \ sigma (W) \ | _ {1}}$ gdzie jest wartości własne w liczbie pojedynczej wartości rozkładu dnia . ${\ displaystyle \ sigma (W)}$${\ displaystyle W}$

Regularyzacja z ograniczeniami średnimi

${\ displaystyle R (f_ {1} \ cdots f_ {T}) = \ suma _ {t = 1} ^ {T} \ | f_ {t} - {\ frac {1} {T}} \ sum _ { s = 1} ^ {T} f_ {s} \ | _ {H_ {k}} ^ {2}}$

Ten regulator ogranicza funkcje wyuczone dla każdego zadania, aby były podobne do ogólnej średniej funkcji we wszystkich zadaniach. Jest to przydatne do wyrażania wcześniejszych informacji, które każde zadanie ma udostępniać sobie nawzajem. Przykładem jest przewidywanie poziomów żelaza we krwi mierzonych w różnych porach dnia, gdzie każde zadanie dotyczy osobnej osoby.

Klastrowana regularyzacja z ograniczeniem średniej

${\ displaystyle R (f_ {1} \ cdots f_ {T}) = \ suma _ {r = 1} ^ {C} \ suma _ {t \ in ja (r)} \ | f_ {t} - {\ frac {1} {I (r)}} \ sum _ {s \ in I (r)} f_ {s} \ | _ {H_ {k}} ^ {2}}$ gdzie jest grupa zadań. ${\ Displaystyle I (r)}$

Ten regulator jest podobny do regulatora z ograniczeniami średniej, ale zamiast tego wymusza podobieństwo między zadaniami w tym samym klastrze. Może to uchwycić bardziej złożone informacje wstępne. Ta technika została wykorzystana do przewidywania zaleceń Netflix . Klaster odpowiadałby grupie osób o podobnych preferencjach.

Podobieństwo oparte na wykresach

Bardziej ogólnie niż powyżej, podobieństwo między zadaniami można zdefiniować za pomocą funkcji. Regulator zachęca model do uczenia się podobnych funkcji dla podobnych zadań.

${\ displaystyle R (f_ {1} \ cdots f_ {T}) = \ suma _ {t, s = 1, t \ neq s} ^ {T} \ | f_ {t} -f_ {s} \ | ^ {2} M_ {ts}}$ dla danej symetrycznej macierzy podobieństwa . ${\ displaystyle M}$

Inne zastosowania regularyzacji w statystykach i uczeniu maszynowym

Metody uczenia bayesowskiego wykorzystują wcześniejsze prawdopodobieństwo, które (zwykle) daje mniejsze prawdopodobieństwo bardziej złożonym modelom. Dobrze znane techniki wyboru modeli obejmują kryterium informacyjne Akaike'a (AIC), minimalną długość opisu (MDL) i kryterium informacyjne Bayesa (BIC). Alternatywne metody kontrolowania nadmiernego dopasowania, które nie obejmują regularyzacji, obejmują walidację krzyżową .

Przykładowe zastosowania różnych metod regularyzacji do modelu liniowego to:

Model	Dopasuj miarę	Miara entropii
AIC / BIC	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ | \ beta \ | _ {0}}$
Regresja grzbietu	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ | \ beta \ | _ {2}}$
Lasso	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ | \ beta \ | _ {1}}$
Podstawa odszumiania pościgu	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ lambda \ | \ beta \ | _ {1}}$
Model Rudin – Osher – Fatemi (TV)	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ lambda \ | \ nabla \ beta \ | _ {1}}$
Model Pottsa	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ Displaystyle \ lambda \ | \ nabla \ beta \ | _ {0}}$
RLAD	${\ Displaystyle \ | YX \ beta \ | _ {1}}$	${\ Displaystyle \ | \ beta \ | _ {1}}$
Dantzig Selector	${\ Displaystyle \ | X ^ {\ do góry} (YX \ beta) \ | _ {\ infty}}$	${\ Displaystyle \ | \ beta \ | _ {1}}$
NACHYLENIE	${\ Displaystyle \ | YX \ beta \ | _ {2}}$	${\ displaystyle \ sum _ {i = 1} ^ {p} \ lambda _ {i} | \ beta | _ {(i)}}$

Zobacz też

• Bayesowska interpretacja regularyzacji
• Kompromis między odchyleniem a wariancją
• Regularyzacja macierzy
• Regularyzacja przez filtrowanie widmowe
• Regularyzowane najmniejsze kwadraty
• Mnożnik Lagrange'a

Uwagi

Bibliografia

• Neumaier, A. (1998). „Rozwiązywanie źle uwarunkowanych i osobliwych układów liniowych: samouczek na temat regularyzacji” (PDF) . Przegląd SIAM . 40 (3): 636–666. doi : 10.1137 / S0036144597321909 .