Funkcje strat do klasyfikacji - Loss functions for classification

Stałe funkcje strat Bayesa: strata zero-jedynkowa (szara), strata okrutna (zielona), strata logistyczna (pomarańczowa), strata wykładnicza (fioletowa), strata styczna (brązowa), strata kwadratowa (niebieska)

W uczenia maszynowego i optymalizacji matematycznej , funkcje strat dla klasyfikacji są wykonalne obliczeniowo funkcji strat reprezentujące cenę zapłaconą za niedokładności w przewidywaniach problemów klasyfikacyjnych (problemy identyfikacji jakiej kategorii należy dana obserwacja to). Biorąc pod uwagę przestrzeń wszystkich możliwych danych wejściowych (zwykle ) i zbiór etykiet (możliwych wyników), typowym celem algorytmów klasyfikacji jest znalezienie funkcji, która najlepiej przewiduje etykietę dla danego wejścia . Jednak ze względu na niekompletne informacje, szum w pomiarze lub probabilistyczne składniki w procesie bazowym, możliwe jest, że to samo wygeneruje inne . W rezultacie celem problemu uczenia się jest zminimalizowanie oczekiwanej straty (znanej również jako ryzyko), zdefiniowanej jako ${\ displaystyle {\ mathcal {X}}}$ ${\ Displaystyle {\ mathcal {X}} \ subset \ mathbb {R} ^ {d}}$ ${\ displaystyle {\ mathcal {Y}} = \ {- 1,1 \}}$ ${\ displaystyle f: {\ mathcal {X}} \ mapsto \ mathbb {R}}$ ${\ displaystyle y}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$

{\ Displaystyle I [f] = \ Displaystyle \ int _ {{\ mathcal {X}} \ razy {\ mathcal {Y}}} V (f ({\ vec {x}}), r) p ({\ vec {x}}, y) \, d {\ vec {x}} \, dy}

gdzie jest daną funkcją straty i jest funkcją gęstości prawdopodobieństwa procesu, który wygenerował dane, którą można równoważnie zapisać jako ${\ Displaystyle V (f ({\ vec {x}}), y)}$ ${\ Displaystyle p ({\ vec {x}}, y)}$

{\ Displaystyle p ({\ vec {x}}, y) = p (r \ mid {\ vec {x}}) p ({\ vec {x}}).}

W ramach klasyfikacji kilka powszechnie używanych funkcji strat jest zapisanych wyłącznie w odniesieniu do produktu prawdziwej etykiety i przewidywanej etykiety . Dlatego można je zdefiniować jako funkcje tylko jednej zmiennej , a więc o odpowiednio dobranej funkcji . Są to tak zwane funkcje strat oparte na marży . Wybór funkcji straty opartej na marży sprowadza się do wyboru . Wybór funkcji straty w tych ramach wpływa na optymalny, który minimalizuje oczekiwane ryzyko. ${\ displaystyle y}$ ${\ displaystyle f ({\ vec {x}})}$ ${\ displaystyle \ upsilon = yf ({\ vec {x}})}$ ${\ Displaystyle V (f ({\ vec {x}}), r) = \ phi (yf ({\ vec {x}})) = \ phi (\ upsilon)}$ ${\ Displaystyle \ phi: \ mathbb {R} \ do \ mathbb {R}}$ ${\ displaystyle \ phi}$ ${\ displaystyle f _ {\ phi} ^ {*}}$

W przypadku klasyfikacji binarnej możliwe jest uproszczenie obliczania oczekiwanego ryzyka z całki określonej powyżej. Konkretnie,

{\ Displaystyle {\ rozpocząć {wyrównane} ja [f] & = \ int _ {{\ mathcal {X}} \ razy {\ mathcal {Y}}} V (f ({\ vec {x}}), y ) p ({\ vec {x}}, y) \, d {\ vec {x}} \, dy \\ [6pt] & = \ int _ {\ mathcal {X}} \ int _ {\ mathcal {{ Y}} \ phi (yf ({\ vec {x}})) p (y \ mid {\ vec {x}}) p ({\ vec {x}}) \, dy \, d {\ vec { x}} \\ [6pt] & = \ int _ {\ mathcal {X}} [\ phi (f ({\ vec {x}})) p (1 \ mid {\ vec {x}}) + \ phi (-f ({\ vec {x}})) p (-1 \ mid {\ vec {x}})] p ({\ vec {x}}) \, d {\ vec {x}} \ \ [6pt] & = \ int _ {\ mathcal {X}} [\ phi (f ({\ vec {x}})) p (1 \ mid {\ vec {x}}) + \ phi (-f ({\ vec {x}})) (1-p (1 \ mid {\ vec {x}}))] p ({\ vec {x}}) \, d {\ vec {x}} \ end {aligned}}}

Druga równość wynika z właściwości opisanych powyżej. Trzecia równość wynika z faktu, że 1 i −1 są jedynymi możliwymi wartościami dla , a czwarta ponieważ . Termin w nawiasach nazywany jest ryzykiem warunkowym. ${\ displaystyle y}$ ${\ displaystyle p (-1 \ mid x) = 1-p (1 \ mid x)}$ ${\ Displaystyle [\ phi (f ({\ vec {x}})) p (1 \ mid {\ vec {x}}) + \ phi (-f ({\ vec {x}})) (1- p (1 \ mid {\ vec {x}}))]}$

Można rozwiązać minimalizator , biorąc pochodną funkcjonalną ostatniej równości względem i ustawiając pochodną równą 0. Wynikiem tego będzie następujące równanie ${\ displaystyle I [f]}$ ${\ displaystyle f}$

{\ Displaystyle {\ Frac {\ częściowe \ phi (f)} {\ częściowe f}} \ eta + {\ Frac {\ częściowe \ phi (-f)} {\ częściowe f}} (1- \ eta) = 0 \; \; \; \; \; (1)}

co jest równoznaczne z ustawieniem pochodnej ryzyka warunkowego na zero.

Biorąc pod uwagę binarny charakter klasyfikacji, dobór naturalny dla funkcji straty (zakładając równy koszt dla fałszywie dodatnich i fałszywie ujemnych ) byłby funkcją straty 0-1 ( funkcja wskaźnika 0-1 ), która przyjmuje wartość 0, jeśli klasyfikacja jest równa klasie prawdziwej lub 1, jeśli przewidywana klasyfikacja nie jest zgodna z klasą prawdziwą. Ten wybór jest wzorowany przez

{\ Displaystyle V (f ({\ vec {x}}), y) = H (-yf ({\ vec {x}}))}

gdzie wskazuje funkcję krokową Heaviside . Jednak ta funkcja straty nie jest wypukła i nie jest gładka, a rozwiązanie optymalnego rozwiązania jest NP-trudnym problemem optymalizacji kombinatorycznej. W rezultacie lepiej jest zastąpić powszechnie stosowane algorytmy uczące się substytutami funkcji straty, które są podatne na traktowanie, ponieważ mają one dogodne właściwości, takie jak wypukłość i gładkość. Oprócz ich obliczeniowej wykonalności można wykazać, że rozwiązania problemu uczenia się przy użyciu tych surogatów straty pozwalają na przywrócenie rzeczywistego rozwiązania pierwotnego problemu klasyfikacyjnego. Niektóre z tych surogatów opisano poniżej. ${\ displaystyle H}$

W praktyce rozkład prawdopodobieństwa jest nieznany. W konsekwencji, wykorzystanie zestawu uczącego składającego się z niezależnie i identycznie rozmieszczonych punktów próbkowania ${\ Displaystyle p ({\ vec {x}}, y)}$ ${\ displaystyle n}$

{\ Displaystyle S = \ {({\ vec {x}} _ {1}, y_ {1}), \ kropki, ({\ vec {x}} _ {n}, y_ {n}) \}}

czerpany z przestrzeni próbkowania danych , dąży się do zminimalizowania ryzyka empirycznego

{\ Displaystyle I_ {S} [f] = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} V (f ({\ vec {x}} _ {i}), y_ {i})}

jako wskaźnik zastępczy oczekiwanego ryzyka. ( Bardziej szczegółowy opis można znaleźć w statystycznej teorii uczenia się).

Konsystencja Bayesa

Korzystając z twierdzenia Bayesa , można wykazać, że optymalna , tj. Taka, która minimalizuje oczekiwane ryzyko związane ze stratą zero-jedynkową, realizuje regułę decyzji optymalnej Bayesa dla problemu klasyfikacji binarnej i ma postać ${\ displaystyle f_ {0/1} ^ {*}}$

{\ Displaystyle f_ {0/1} ^ {*} ({\ vec {x}}) \; = \; {\ zaczynać {przypadki} \; \; \; 1 & {\ tekst {if}} p (1 \ mid {\ vec {x}})> p (-1 \ mid {\ vec {x}}) \\\; \; \; 0 & {\ text {if}} p (1 \ mid {\ vec { x}}) = p (-1 \ mid {\ vec {x}}) \\ - 1 & {\ text {if}} p (1 \ mid {\ vec {x}}) <p (-1 \ mid {\ vec {x}}) \ end {sprawy}}}

.

Mówi się, że funkcja straty jest skalibrowana klasyfikacyjnie lub spójna Bayesa, jeśli jej optymalna wartość jest taka, a zatem jest optymalna zgodnie z regułą decyzyjną Bayesa. Funkcja spójnej straty Bayesa pozwala nam znaleźć optymalną funkcję decyzyjną Bayesa poprzez bezpośrednią minimalizację oczekiwanego ryzyka i bez konieczności jawnego modelowania funkcji gęstości prawdopodobieństwa. ${\ displaystyle f _ {\ phi} ^ {*}}$ ${\ Displaystyle f_ {0/1} ^ {*} ({\ vec {x}}) = \ operatorname {sgn} (f _ {\ phi} ^ {*} ({\ vec {x}}))}$ ${\ displaystyle f _ {\ phi} ^ {*}}$

W przypadku wypukłej straty marginesu można wykazać, że Bayes jest spójny wtedy i tylko wtedy, gdy jest różniczkowalny przy 0 i . Jednak wynik ten nie wyklucza istnienia nie wypukłych spójnych funkcji straty Bayesa. Bardziej ogólny wynik stwierdza, że spójne funkcje strat Bayesa można wygenerować przy użyciu następującego sformułowania ${\ Displaystyle \ phi (\ upsilon)}$ ${\ Displaystyle \ phi (\ upsilon)}$ ${\ Displaystyle \ phi '(0) = 0}$

{\ Displaystyle \ phi (v) = do [f ^ {- 1} (v)] + (1-f ^ {- 1} (v)) C '[f ^ {- 1} (v)] \; \; \; \; \; (2)}

,

gdzie jakikolwiek odwracalna funkcja tak, że a jest każdy różniczkowalną funkcją ściśle wklęsła, tak że . Tabela-I pokazuje wygenerowane spójne funkcje strat Bayesa dla niektórych przykładowych wyborów i . Zwróć uwagę, że straty Savage i Tangent nie są wypukłe. Okazało się, że takie nie wypukłe funkcje straty są przydatne w przypadku wartości odstających w klasyfikacji. Dla wszystkich funkcji strat generowanych z (2), prawdopodobieństwo późniejsze można znaleźć za pomocą funkcji odwracalnego łącza jako . Takie funkcje straty, w których prawdopodobieństwo a posteriori można odzyskać za pomocą połączenia odwracalnego, nazywane są właściwymi funkcjami straty . ${\ Displaystyle f (\ eta), (0 \ równoważnik \ eta \ równoważnik 1)}$ ${\ Displaystyle f ^ {- 1} (- v) = 1-f ^ {- 1} (v)}$ ${\ Displaystyle C (\ eta)}$ ${\ Displaystyle C (\ eta) = C (1- \ eta)}$ ${\ Displaystyle C (\ eta)}$ ${\ Displaystyle f ^ {- 1} (v)}$ ${\ Displaystyle p (r = 1 | {\ vec {x}})}$ ${\ Displaystyle p (r = 1 | {\ vec {x}}) = \ eta = f ^ {- 1} (v)}$

Tabela-I
Nazwa straty	${\ Displaystyle \ phi (v)}$	${\ Displaystyle C (\ eta)}$	${\ Displaystyle f ^ {- 1} (v)}$	${\ displaystyle f (\ eta)}$
Wykładniczy	${\ displaystyle e ^ {- v}}$	${\ Displaystyle 2 {\ sqrt {\ eta (1- \ eta)}}}$	${\ Displaystyle {\ Frac {e ^ {2v}} {1 + e ^ {2v}}}}$	${\ Displaystyle {\ Frac {1} {2}} \ log ({\ Frac {\ eta} {1- \ eta}})}$
Logistyka	${\ Displaystyle {\ Frac {1} {\ log (2)}} \ log (1 + e ^ {- v})}$	${\ Displaystyle {\ Frac {1} {\ log (2)}} [- \ eta \ log (\ eta) - (1- \ eta) \ log (1- \ eta)]}$	${\ Displaystyle {\ Frac {e ^ {v}} {1 + e ^ {v}}}}$	${\ Displaystyle \ log ({\ Frac {\ eta} {1- \ eta}})}$
Kwadrat	${\ displaystyle (1-v) ^ {2}}$	${\ Displaystyle 4 \ eta (1- \ eta)}$	${\ Displaystyle {\ Frac {1} {2}} (v + 1)}$	${\ Displaystyle 2 \ eta -1}$
Brutalny	${\ Displaystyle {\ Frac {1} {(1 + e ^ {v}) ^ {2}}}}$	${\ Displaystyle \ eta (1- \ eta)}$	${\ Displaystyle {\ Frac {e ^ {v}} {1 + e ^ {v}}}}$	${\ Displaystyle \ log ({\ Frac {\ eta} {1- \ eta}})}$
Tangens	${\ Displaystyle (2 \ arctan (v) -1) ^ {2}}$	${\ Displaystyle 4 \ eta (1- \ eta)}$	${\ Displaystyle \ arctan (v) + {\ Frac {1} {2}}}$	${\ Displaystyle \ tan (\ eta - {\ Frac {1} {2}})}$

Jedyny minimalizator oczekiwanego ryzyka, związany z powyższymi wygenerowanymi funkcjami straty, można znaleźć bezpośrednio z równania (1) i wykazać, że jest równy odpowiadającemu . Dotyczy to nawet funkcji strat, które nie są wypukłe, co oznacza, że algorytmy oparte na spadku gradientu, takie jak wzmocnienie gradientu, mogą być użyte do skonstruowania minimalizatora. ${\ displaystyle f _ {\ phi} ^ {*}}$ ${\ displaystyle f (\ eta)}$

Właściwe funkcje straty, margines straty i regularyzacja

(Czerwony) standard Strata logistyczna ( ) i (Niebieski) zwiększona marża Strata logistyczna ( ).

{\ Displaystyle \ gamma = 1, \ mu = 2}

{\ Displaystyle \ gamma = 0,2}

Aby zapewnić prawidłowe funkcje straty, margines straty można zdefiniować jako i wykazać, że jest bezpośrednio powiązany z właściwościami regularyzacji klasyfikatora. W szczególności funkcja straty większego marginesu zwiększa regularyzację i daje lepsze oszacowania późniejszego prawdopodobieństwa. Na przykład, margines straty może zostać zwiększony dla straty logistycznej poprzez wprowadzenie parametru i zapisanie straty logistycznej, gdzie mniejszy, zwiększa margines straty. Wykazano, że jest to bezpośrednio równoważne ze zmniejszeniem szybkości uczenia się przy wzmocnieniu gradientu, gdzie zmniejszenie poprawia regularyzację wzmacnianego klasyfikatora. Teoria wyjaśnia, że kiedy stosuje się współczynnik uczenia się , prawidłowy wzór na obliczenie późniejszego prawdopodobieństwa to teraz . ${\ Displaystyle \ mu _ {\ phi} = - {\ Frac {\ phi '(0)} {\ phi' '(0)}}}$ ${\ displaystyle \ gamma}$ ${\ Displaystyle {\ Frac {1} {\ gamma}} \ log (1 + e ^ {- \ gamma v})}$ ${\ Displaystyle 0 <\ gamma <1}$ ${\ Displaystyle F_ {m.} (x) = F_ {m-1} (x) + \ gamma h_ {m.} (x),}$ ${\ displaystyle \ gamma}$ ${\ displaystyle \ gamma}$ ${\ Displaystyle \ eta = f ^ {- 1} (\ gamma F (x))}$

Podsumowując, wybierając funkcję straty z większym marginesem (mniejszym ) zwiększamy regularyzację i poprawiamy nasze oszacowania prawdopodobieństwa późniejszego, co z kolei poprawia krzywą ROC końcowego klasyfikatora. ${\ displaystyle \ gamma}$

Kwadratowa strata

Chociaż jest częściej używana w regresji, kwadratowa funkcja straty może zostać ponownie zapisana jako funkcja i wykorzystana do klasyfikacji. Można go wygenerować za pomocą (2) i tabeli-I w następujący sposób ${\ Displaystyle \ phi (yf ({\ vec {x}}))}$

{\ Displaystyle \ phi (v) = do [f ^ {- 1} (v)] + (1-f ^ {- 1} (v)) C '[f ^ {- 1} (v)] = 4 ({\ frac {1} {2}} (v + 1)) (1 - {\ frac {1} {2}} (v + 1)) + (1 - {\ frac {1} {2}} (v + 1)) (4-8 ({\ frac {1} {2}} (v + 1))) = (1-v) ^ {2}.}

Kwadratowa funkcja strat jest zarówno wypukła, jak i gładka. Jednak kwadratowa funkcja straty ma tendencję do nadmiernego karania wartości odstających, prowadząc do wolniejszych współczynników zbieżności (w odniesieniu do złożoności próbki) niż w przypadku funkcji straty logistycznej lub straty zawiasowej. Ponadto funkcje, które dają wysokie wartości dla niektórych, będą źle działać z kwadratową funkcją straty, ponieważ wysokie wartości będą surowo karane, niezależnie od tego, czy znaki i zgodność. ${\ displaystyle f ({\ vec {x}})}$ ${\ Displaystyle x \ w X}$ ${\ displaystyle yf ({\ vec {x}})}$ ${\ displaystyle y}$ ${\ displaystyle f ({\ vec {x}})}$

Zaletą kwadratowej funkcji straty jest to, że jej struktura umożliwia łatwe sprawdzanie krzyżowe parametrów regularyzacji. W szczególności dla regularyzacji Tichonowa , można rozwiązać parametr regularyzacji za pomocą walidacji krzyżowej pominąć jeden na zewnątrz w tym samym czasie, jaki byłby potrzebny do rozwiązania pojedynczego problemu.

Minimalizator funkcji strat kwadratowych można znaleźć bezpośrednio z równania (1) jako ${\ displaystyle I [f]}$

{\ displaystyle f _ {\ text {kwadrat}} ^ {*} = 2 \ eta -1 = 2p (1 \ mid x) -1.}

Strata logistyczna

Funkcję straty logistycznej można wygenerować za pomocą (2) i tabeli-I w następujący sposób

{\ Displaystyle {\ rozpocząć {wyrównane} \ phi (v) & = do [f ^ {- 1} (v)] + \ lewo (1-f ^ {- 1} (v) \ prawej) \, C ' \ left [f ^ {- 1} (v) \ right] \\ & = {\ frac {1} {\ log (2)}} \ left [{\ frac {-e ^ {v}} {1+ e ^ {v}}} \ log {\ frac {e ^ {v}} {1 + e ^ {v}}} - \ left (1 - {\ frac {e ^ {v}} {1 + e ^ {v}}} \ right) \ log \ left (1 - {\ frac {e ^ {v}} {1 + e ^ {v}}} \ right) \ right] + \ left (1 - {\ frac {e ^ {v}} {1 + e ^ {v}}} \ right) \ left [{\ frac {-1} {\ log (2)}} \ log \ left ({\ frac {\ frac { e ^ {v}} {1 + e ^ {v}}} {1 - {\ frac {e ^ {v}} {1 + e ^ {v}}}}} \ right) \ right] \\ & = {\ frac {1} {\ log (2)}} \ log (1 + e ^ {- v}). \ end {aligned}}}

Strata logistyczna jest wypukła i rośnie liniowo dla wartości ujemnych, co czyni ją mniej wrażliwą na wartości odstające. Strata logistyczna jest wykorzystywana w algorytmie LogitBoost .

Minimalizator funkcji straty logistycznej można znaleźć bezpośrednio z równania (1) jako ${\ displaystyle I [f]}$

{\ Displaystyle f _ {\ tekst {logistyczne}} ^ {*} = \ log \ lewo ({\ Frac {\ eta} {1- \ eta}} \ prawo) = \ log \ lewo ({\ Frac {p ( 1 \ mid x)} {1-p (1 \ mid x)}} \ right).}

Ta funkcja jest niezdefiniowana, gdy lub (zmierza odpowiednio w kierunku ∞ i −∞), ale przewiduje gładką krzywą, która rośnie wraz ze wzrostem i równa się 0, gdy . ${\ displaystyle p (1 \ mid x) = 1}$ ${\ displaystyle p (1 \ mid x) = 0}$ ${\ displaystyle p (1 \ mid x)}$ ${\ displaystyle p (1 \ mid x) = 0,5}$

Łatwo jest sprawdzić, czy strata logistyczna i binarna strata entropii krzyżowej (strata logów) są w rzeczywistości takie same (aż do stałej multiplikatywnej ). Utrata entropii krzyżowej jest ściśle związana z dywergencją Kullbacka-Leiblera między rozkładem empirycznym a rozkładem przewidywanym. Utrata entropii krzyżowej jest wszechobecna we współczesnych głębokich sieciach neuronowych . ${\ Displaystyle {\ Frac {1} {\ log (2)}}}$

Strata wykładnicza

Wykładniczą funkcję straty można wygenerować za pomocą (2) i tabeli-I w następujący sposób

{\ Displaystyle \ phi (v) = do [f ^ {- 1} (v)] + (1-f ^ {- 1} (v)) C '[f ^ {- 1} (v)] = 2 {\ sqrt {({\ frac {e ^ {2v}} {1 + e ^ {2v}}}) (1 - {\ frac {e ^ {2v}} {1 + e ^ {2v}}}) }} + (1 - {\ frac {e ^ {2v}} {1 + e ^ {2v}}}) ({\ frac {1 - {\ frac {2e ^ {2v}} {1 + e ^ { 2v}}}} {\ sqrt {{\ frac {e ^ {2v}} {1 + e ^ {2v}}} (1 - {\ frac {e ^ {2v}} {1 + e ^ {2v} }})}}}) = e ^ {- v}}

Strata wykładnicza jest wypukła i rośnie wykładniczo dla wartości ujemnych, co czyni ją bardziej wrażliwą na wartości odstające. W algorytmie AdaBoost wykorzystywana jest wykładnicza strata .

Minimalizator funkcji wykładniczej straty można znaleźć bezpośrednio z równania (1) jako ${\ displaystyle I [f]}$

{\ Displaystyle f _ {\ text {Exp}} ^ {*} = {\ Frac {1} {2}} \ log \ lewo ({\ Frac {\ eta} {1- \ eta}} \ prawo) = { \ frac {1} {2}} \ log \ left ({\ frac {p (1 \ mid x)} {1-p (1 \ mid x)}} \ right).}

Dzika strata

Stratę Savage można wygenerować za pomocą (2) i Tabeli-I w następujący sposób

{\ Displaystyle \ phi (v) = do [f ^ {- 1} (v)] + (1-f ^ {- 1} (v)) C '[f ^ {- 1} (v)] = ( {\ frac {e ^ {v}} {1 + e ^ {v}}}) (1 - {\ frac {e ^ {v}} {1 + e ^ {v}}}) + (1- { \ frac {e ^ {v}} {1 + e ^ {v}}}) (1 - {\ frac {2e ^ {v}} {1 + e ^ {v}}}) = {\ frac {1 } {(1 + e ^ {v}) ^ {2}}}.}

Strata Savage jest quasi-wypukła i ograniczona do dużych wartości ujemnych, co czyni ją mniej wrażliwą na wartości odstające. Strata Savage została wykorzystana do wzmocnienia gradientu i algorytmu SavageBoost.

Minimalizator dla funkcji straty Savage'a można znaleźć bezpośrednio z równania (1) jako ${\ displaystyle I [f]}$

{\ Displaystyle f _ {\ tekst {Savage}} ^ {*} = \ log \ lewo ({\ Frac {\ eta} {1- \ eta}} \ prawo) = \ log \ lewo ({\ Frac {p ( 1 \ mid x)} {1-p (1 \ mid x)}} \ right).}

Strata styczna

Stratę styczną można wygenerować za pomocą (2) i tabeli-I w następujący sposób

{\ Displaystyle {\ zaczynać {wyrównane} \ phi (v) & = do [f ^ {- 1} (v)] + (1-f ^ {- 1} (v)) C '[f ^ {- 1 } (v)] = 4 (\ arctan (v) + {\ frac {1} {2}}) (1 - (\ arctan (v) + {\ frac {1} {2}})) + (1 - (\ arctan (v) + {\ frac {1} {2}})) (4-8 (\ arctan (v) + {\ frac {1} {2}})) \\ & = (2 \ arctan (v) -1) ^ {2}. \ end {aligned}}}

Utrata styczna jest quasi-wypukła i ograniczona do dużych wartości ujemnych, co czyni ją mniej wrażliwą na wartości odstające. Co ciekawe, utrata styczna nakłada również ograniczoną karę na punkty danych, które zostały sklasyfikowane „zbyt poprawnie”. Może to pomóc w zapobieganiu przetrenowaniu zbioru danych. Utrata styczna została wykorzystana we wzmocnieniu gradientowym , algorytmie TangentBoost i naprzemiennych lasach decyzyjnych.

Minimalizator funkcji straty styczności można znaleźć bezpośrednio z równania (1) jako ${\ displaystyle I [f]}$

{\ Displaystyle F _ {\ tekst {Styczna}} ^ {*} = \ tan (\ eta - {\ Frac {1} {2}}) = \ tan (p (1 \ mid x) - {\ Frac {1 } {2}}).}

Utrata zawiasów

Funkcja utraty zawiasów jest definiowana za pomocą , gdzie jest dodatnią funkcją części . ${\ Displaystyle \ phi (\ upsilon) = \ max (0,1- \ upsilon) = [1- \ upsilon] _ {+}}$ ${\ displaystyle [a] _ {+} = \ max (0, a)}$

{\ Displaystyle V (f ({\ vec {x}}), r) = \ max (0,1-yf ({\ vec {x}})) = [1-yf ({\ vec {x}} )] _ {+}.}

Utrata zawiasu zapewnia stosunkowo ciasną, wypukłą górną granicę funkcji wskaźnika 0–1 . W szczególności utrata zawiasu jest równa funkcji wskaźnika 0–1, kiedy i . Ponadto empiryczna minimalizacja ryzyka tej straty jest równoważna klasycznemu sformułowaniu dla maszyn wektorów nośnych (SVM). Prawidłowo sklasyfikowane punkty leżące poza granicami marginesu wektorów nośnych nie są karane, natomiast punkty w granicach marginesu lub po niewłaściwej stronie hiperpłaszczyzny są karane liniowo w stosunku do ich odległości od właściwej granicy. ${\ displaystyle \ operatorname {sgn} (f ({\ vec {x}})) = y}$ ${\ displaystyle | yf ({\ vec {x}}) | \ geq 1}$

Chociaż funkcja utraty zawiasów jest zarówno wypukła, jak i ciągła, nie jest ona gładka (nie jest różniczkowalna) przy . W związku z tym utraty funkcji zawiasy nie mogą być używane z największego spadku metod lub stochastycznych największego spadku sposoby, które opierają się na różniczkowalności na całej domeny. Jednak utrata zawiasu ma subgradient w , co pozwala na wykorzystanie metod obniżania subgradient . SVM wykorzystujące funkcję utraty zawiasów można również rozwiązać za pomocą programowania kwadratowego . ${\ displaystyle yf ({\ vec {x}}) = 1}$ ${\ displaystyle yf ({\ vec {x}}) = 1}$

Minimalizatorem dla funkcji utraty zawiasów jest ${\ displaystyle I [f]}$

{\ Displaystyle f _ {\ tekst {zawias}} ^ {*} ({\ vec {x}}) \; = \; {\ zaczynać {przypadków} 1 & {\ tekst {if}} p (1 \ mid {\ vec {x}})> p (-1 \ mid {\ vec {x}}) \\ - 1 & {\ text {if}} p (1 \ mid {\ vec {x}}) <p (-1 \ mid {\ vec {x}}) \ end {sprawy}}}

kiedy , co odpowiada funkcji wskaźnika 0–1. Ten wniosek sprawia, że utrata zawiasu jest dość atrakcyjna, ponieważ można postawić granice różnicy między oczekiwanym ryzykiem a oznaką funkcji utraty zawiasu. Utrata zawiasu nie może pochodzić z (2), ponieważ nie jest odwracalna. ${\ displaystyle p (1 \ mid x) \ neq 0,5}$ ${\ displaystyle f _ {\ text {zawias}} ^ {*}}$