Elastyczna regularyzacja sieci - Elastic net regularization

W statystyce , aw szczególności w dopasowywaniu modeli regresji liniowej lub logistycznej , siatka elastyczna jest metodą regresji regularyzowanej , która łączy w sposób liniowy kary L 1 i L 2 metod lasso i metody grzbietowej .

Specyfikacja

Metoda elastycznej siatki pokonuje ograniczenia metody LASSO (najmniej bezwzględny operator skurczu i selekcji), która wykorzystuje funkcję kary opartą na

Korzystanie z tej funkcji kary ma kilka ograniczeń. Na przykład w przypadku „duże p , małe n ” (dane wielowymiarowe z kilkoma przykładami) LASSO wybiera co najwyżej n zmiennych, zanim zostanie nasycony. Również jeśli istnieje grupa wysoce skorelowanych zmiennych, wówczas LASSO ma tendencję do wybierania jednej zmiennej z grupy i ignorowania pozostałych. Aby przezwyciężyć te ograniczenia, elastyczna siatka dodaje kwadratową część do kary ( ), która stosowana samodzielnie jest regresją grzbietu (znaną również jako regularyzacja Tichonowa ). Szacunki z metody elastycznej siatki są określone przez

Kwadratowy składnik kary sprawia, że ​​funkcja straty jest silnie wypukła, a zatem ma unikalne minimum. Metoda elastycznej siatki obejmuje LASSO i regresję kalenicową: innymi słowy, każdy z nich jest szczególnym przypadkiem, w którym lub . Tymczasem naiwna wersja metody elastycznej siatki znajduje estymator w procedurze dwuetapowej: najpierw dla każdej ustalonej pozycji znajduje współczynniki regresji grzbietu, a następnie dokonuje skurczu typu LASSO. Ten rodzaj oszacowania powoduje podwójny spadek, co prowadzi do zwiększonego błędu systematycznego i słabych prognoz. Aby poprawić wydajność prognozowania, autorzy przeskalują współczynniki naiwnej wersji elastycznej siatki, mnożąc oszacowane współczynniki przez .

Przykłady zastosowania metody elastycznej siatki to:

  • Maszyna wektorów nośnych
  • Uczenie metryczne
  • Optymalizacja portfela
  • Prognozy dotyczące raka

Redukcja do obsługi maszyny wektorowej

Pod koniec 2014 roku udowodniono, że elastyczną siatkę można zredukować do liniowej maszyny wektorów nośnych . Podobną redukcję wykazano wcześniej w LASSO w 2014 r. Autorzy wykazali, że dla każdego wystąpienia siatki sprężystej można skonstruować sztuczny problem klasyfikacji binarnej, tak że rozwiązanie hiperpłaszczyznowe maszyny liniowych wektorów nośnych (SVM) jest identyczne. do rozwiązania (po przeskalowaniu). Redukcja natychmiast umożliwia stosowanie wysoce zoptymalizowanych solwerów SVM do rozwiązywania problemów z elastyczną siatką. Umożliwia także użycie akceleracji GPU , która jest często już używana w wielkoskalowych solwerach SVM. Redukcja jest prostą transformacją oryginalnych danych i stałych regularyzacji

na nowe sztuczne instancje danych i stałą regularyzacji, która określa problem klasyfikacji binarnej i stałą regularyzacji SVM

Tutaj składa się z etykiet binarnych . Kiedy zazwyczaj jest szybsze rozwiązanie liniowej SVM w pierwotnym, podczas gdy w przeciwnym razie podwójna formuła jest szybsza. Autorzy określili transformację jako Support Vector Elastic Net (SVEN) i podali następujący pseudokod MATLAB:

function β=SVEN(X,y,t,λ2);
 [n,p]=size(X); 
 X2 = [bsxfun(@minus, X, y./t); bsxfun(@plus, X, y./t)];
 Y2=[ones(p,1);-ones(p,1)];
if 2p>n then 
 w = SVMPrimal(X2, Y2, C = 1/(2*λ2));
 α = C * max(1-Y2.*(X2*w),0); 
else
 α = SVMDual(X2, Y2, C = 1/(2*λ2)); 
end if
β = t * (α(1:p) - α(p+1:2p)) / sum(α);

Oprogramowanie

  • „Glmnet: Lasso i uogólnione uogólnione modele liniowe z elastyczną siatką” to oprogramowanie zaimplementowane jako pakiet źródłowy języka R i zestaw narzędzi MATLAB . Obejmuje to szybkie algorytmy estymacji uogólnionych modeli liniowych z ℓ 1 (lasso), ℓ 2 (regresja grzbietowa) oraz mieszanki dwóch kar (siatka sprężysta) przy użyciu cyklicznego zejścia współrzędnych, obliczanych wzdłuż ścieżki regularyzacji.
  • JMP Pro 11 zawiera regularyzację elastycznej sieci, używając osobowości regresji uogólnionej z modelem dopasowania.
  • „pensim: Symulacja danych wielowymiarowych i zrównoleglona powtarzana regresja karna” wdraża alternatywną, równoległą metodę dostrajania „2D” parametrów,, metodę, której rzekomo przypisuje się zwiększoną dokładność przewidywania.
  • scikit-learn obejmuje regresję liniową, regresję logistyczną i maszyny liniowych wektorów nośnych z regularyzacją elastycznej sieci.
  • SVEN, implementacja Support Vector Elastic Net w Matlabie . Ten solver redukuje problem Elastic Net do instancji klasyfikacji binarnej SVM i używa solvera Matlab SVM do znalezienia rozwiązania. Ponieważ SVM można łatwo zrównoleglać, kod może być szybszy niż Glmnet na nowoczesnym sprzęcie.
  • SpaSM , implementacja regresji rzadkiej, klasyfikacji i analizy głównych składowych w Matlabie , w tym regularyzowana regresja elastycznej sieci.
  • Apache Spark zapewnia obsługę elastycznej regresji sieci w swojej bibliotece uczenia maszynowego MLlib . Metoda jest dostępna jako parametr bardziej ogólnej klasy LinearRegression.
  • SAS (oprogramowanie) Procedura SAS Glmselect obsługuje regularyzację elastycznej sieci do wyboru modelu.

Bibliografia

Dalsza lektura

Zewnętrzne linki