Algorytm Gaussa-Newtona - Gauss–Newton algorithm

Dopasowanie zaszumionej krzywej za pomocą asymetrycznego modelu szczytowego przy użyciu algorytmu Gaussa-Newtona ze zmiennym współczynnikiem tłumienia α.
U góry: surowe dane i model.
Dół: Ewolucja znormalizowanej sumy kwadratów błędów.

Algorytm Gaussa-Newtona służy do rozwiązania nieliniowych najmniejszych kwadratów problemy. Jest to modyfikacja metody Newtona dla znalezienia minimum o funkcji . W przeciwieństwie do metody Newtona, algorytm Gaussa-Newtona może być użyty tylko do zminimalizowania sumy kwadratów wartości funkcji, ale ma tę zaletę, że nie są wymagane drugie pochodne, które mogą być trudne do obliczenia.

Nieliniowe problemy najmniejszych kwadratów pojawiają się na przykład w regresji nieliniowej , gdzie parametry w modelu są poszukiwane tak, aby model był w dobrej zgodności z dostępnymi obserwacjami.

Metoda została nazwana na cześć matematyków Carla Friedricha Gaussa i Izaaka Newtona , a po raz pierwszy pojawiła się w pracy Gaussa z 1809 r. Theoria motus corporum coelestium in sectionibus conicis solem ambientum .

Opis

Podane funkcje (często nazywane resztami) zmiennych za pomocą algorytmu Gaussa-Newtona iteracyjnie znajdują wartość zmiennych, która minimalizuje sumę kwadratów ${\ Displaystyle m}$${\ Displaystyle {\ textbf {r}} = (r_ {1}, \ ldots, r_ {m})}$${\ Displaystyle n}$${\displaystyle {\boldsymbol {\beta}}=(\beta_{1},\ldots \beta_{n}),}$${\displaystyle m\geq n}$

${\ Displaystyle S ({\ boldsymbol {\ beta}}) = \ suma _ {i = 1} ^ {m} r_ {i} ({\ boldsymbol {\ beta}}) ^ {2}.}$

Zaczynając od wstępnego zgadywania minimum, metoda przebiega według iteracji ${\displaystyle {\boldsymbol {\beta}}^{(0)}}$

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {(s + 1)} = {\ boldsymbol {\ beta}} ^ {(s)} - \ lewo (\ mathbf {J_ {r}} ^ {\ mathsf {T}}\mathbf {J_{r}} \right)^{-1}\mathbf {J_{r}} ^{\mathsf {T}}\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\prawo),}$

gdzie, jeśli r i β są wektorami kolumnowymi , wpisy macierzy jakobianu to

${\ Displaystyle \ lewo (\ mathbf {J_ {R}} \ prawej) _ {ij} = {\ Frac {\ częściowy R_ {i} \ lewo ({\ pogrubienie {\ beta}} ^ {(s)} \ dobrze)}{\częściowa \beta _{j}}},}$

a symbol oznacza transpozycję macierzy . ${\ Displaystyle ^ {\ mathsf {T}}}$

Jeśli m  =  n , iteracja upraszcza się do

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {(s + 1)} = {\ boldsymbol {\ beta}} ^ {(s)} - \ lewo (\ mathbf {J_ {R}} \ prawej) ^ {-1}\mathbf {r} \left({\boldsymbol {\beta}}^{(s)}\right),}$

co jest bezpośrednim uogólnieniem metody Newtona w jednym wymiarze.

W dopasowywaniu danych, gdzie celem jest znalezienie takich parametrów , aby dana funkcja modelu najlepiej pasowała do niektórych punktów danych , funkcje są resztami : ${\displaystyle {\boldsymbol {\beta}}}$${\ Displaystyle \ mathbf {f} (\ mathbf {x}, {\ pogrubiony symbol {\ beta}})}$${\ Displaystyle (x_ {i}, Y_ {i})}$${\displaystyle r_{i}}$

${\ Displaystyle R_ {i} ({\ boldsymbol {\ beta}}) = y_ {i}-f \ lewo (x_ {i}, {\ boldsymbol {\ beta}} \ prawej).}$

Następnie metodę Gaussa-Newtona można wyrazić w kategoriach jakobianu funkcji as ${\ Displaystyle \ mathbf {J_ {f}}}$${\displaystyle \mathbf {f}}$

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {(s + 1)} = {\ boldsymbol {\ beta}} ^ {(s)} + \ lewo (\ mathbf {J_ {f}} ^ {\ mathsf {T}}\mathbf {J_{f}} \right)^{-1}\mathbf {J_{f}} ^{\mathsf {T}}\mathbf {r} \left({\boldsymbol {\beta }}^{(s)}\prawo).}$

Należy pamiętać, że jest lewa pseudoinverse od . ${\ Displaystyle \ lewo (\ mathbf {J_ {f}} ^ {\ mathsf {T}} \ mathbf {J_ {f}} \ prawej) ^ {-1} \ mathbf {J_ {f}} ^ {\ mathsf {T}}}$${\ Displaystyle \ mathbf {J_ {f}}}$

Uwagi

Założenie m  ≥  n w oświadczeniu algorytmu jest konieczne, gdyż w przeciwnym razie macierz nie jest odwracalna, a równania normalne nie mogą być rozwiązane (przynajmniej jednoznacznie). ${\ Displaystyle \ mathbf {J_ {r}} ^ {T} \ mathbf {J_ {r}}}$

Algorytm Gaussa-Newtona można wyprowadzić przez liniową aproksymację wektora funkcji r _i . Korzystając z twierdzenia Taylora możemy w każdej iteracji napisać:

${\ Displaystyle \ mathbf {r} ({\ pogrubienie {\ beta}}) \ około \ mathbf {r} \ lewo ({\ pogrubienie {\ beta}} ^ {(s)} \ prawej) + \ mathbf {J_ {r}} \left({\boldsymbol {\beta}}^{(s)}\right)\Delta }$

z . Zadanie znalezienia minimalizacji sumy kwadratów po prawej stronie; tj, ${\ Displaystyle \ Delta = {\ boldsymbol {\ beta}} - {\ boldsymbol {\ beta}} ^ {(s)}}$${\ Displaystyle \ Delta}$

${\ Displaystyle \ min \ lewo \ | \ mathbf {R} \ lewo ({\ pogrubienie {\ beta}} ^ {(s)} \ po prawej) + \ mathbf {J_ {r}} \ po lewej ({\ pogrubienie { \beta }}^{(s)}\right)\Delta \right\|_{2}^{2},}$

jest liniowym problemem najmniejszych kwadratów , który można rozwiązać w sposób jawny, dając w algorytmie równania normalne.

Równania normalne są n równoczesnymi równaniami liniowymi w nieznanych przyrostach . Można je rozwiązać w jednym kroku, stosując dekompozycję Cholesky'ego lub, lepiej, faktoryzację QR dla . W przypadku dużych systemów metoda iteracyjna , taka jak metoda gradientu sprzężonego , może być bardziej wydajna. Czy występuje liniowa zależność między kolumnami J _r iteracje nie uda, ponieważ staje się pojedynczą. ${\ Displaystyle \ Delta}$${\ Displaystyle \ mathbf {J_ {r}}}$${\ Displaystyle \ mathbf {J_ {r}} ^ {T} \ mathbf {J_ {r}}}$

Gdy jest złożony, należy użyć formy sprzężonej: . ${\displaystyle \mathbf {r}}$${\ Displaystyle \ mathbf {R} : \ mathbb {C} ^ {n} \ rightarrow \ mathbb {C}}$${\ Displaystyle \ left ({\ overline {\ mathbf {J_ {R}}}} ^ {\ mathsf {T}} \ mathbf {J_ {R}} \ po prawej) ^ {-1} {\ overline {\ mathbf {J_{r}} }}^{\mathsf {T}}}$

Przykład

Obliczona krzywa uzyskana za pomocą i (na niebiesko) w porównaniu z obserwowanymi danymi (na czerwono)${\displaystyle {\kapelusz {\beta}}_{1}=0,362}$${\displaystyle {\kapelusz {\beta}}_{2}=0,556}$

W tym przykładzie algorytm Gaussa-Newtona zostanie użyty do dopasowania modelu do niektórych danych poprzez zminimalizowanie sumy kwadratów błędów między danymi a przewidywaniami modelu.

W eksperymencie biologicznym badającym zależność między stężeniem substratu [ S ] a szybkością reakcji w reakcji enzymatycznej uzyskano dane przedstawione w poniższej tabeli.

i	1	2	3	4	5	6	7
[ S ]	0,038	0,194	0,425	0,626	1,253	2.500	3,740
Wskaźnik	0,050	0,127	0,094	0,2122	0,2729	0,2665	0,3317

Pożądane jest znalezienie krzywej (funkcji modelu) postaci

${\ Displaystyle {\ tekst {stopa}} = {\ Frac {V_ {\ tekst {max}} \ cdot [S]} {K_ {M} + [S]}}}$

który najlepiej pasuje do danych w sensie najmniejszych kwadratów, z parametrami i do ustalenia. ${\displaystyle V_{\tekst{maks}}}$${\ Displaystyle K_ {M}}$

Oznacz odpowiednio przez i wartości [ S ] i stawki za pomocą . Niech i . Znajdziemy i takie, że suma kwadratów reszt ${\displaystyle x_{i}}$${\displaystyle y_{i}}$${\displaystyle i=1,\kropki,7}$${\ Displaystyle \ beta _ {1} = V_ {\ tekst {max}}}$${\ Displaystyle \ beta _ {2} = K_ {M}}$${\displaystyle \beta_{1}}$${\displaystyle \beta_{2}}$

${\ Displaystyle R_ {i} = Y_ {i} - {\ Frac {\ beta _ {1} x_ {i}} {\ beta _ {2} + x_ {i}}}, \ quad (i = 1, \kropki ,7)}$

jest zminimalizowany.

Jakobian wektora reszt względem niewiadomych jest macierzą z -tym wierszem zawierającym wpisy ${\ Displaystyle \ mathbf {J_ {r}}}$${\displaystyle r_{i}}$${\ Displaystyle \ beta _ {j}}$${\displaystyle 7\razy 2}$${\displaystyle i}$

${\ Displaystyle {\ Frac {\ częściowy R_ {i}} {\ częściowy \ beta _ {1}}} = - {\ Frac {x_ {i}} {\ beta _ {2} + x_ {i}}} ;{\frac {\częściowy r_{i}}{\częściowy \beta _{2}}}={\frac {\beta _{1}\cdot x_{i}}{\left(\beta _{2 }+x_{i}\prawo)^{2}}}.}$

Rozpoczynając od wstępnych oszacowań i , po pięciu iteracjach algorytmu Gaussa-Newtona uzyskuje się wartości optymalne i . Suma kwadratów reszt zmniejszyła się z wartości początkowej 1,445 do 0,00784 po piątej iteracji. Wykres na rysunku po prawej przedstawia krzywą wyznaczoną przez model dla optymalnych parametrów z obserwowanymi danymi. ${\ Displaystyle \ beta _ {1} = 0,9}$${\ Displaystyle \ beta _ {2} = 0,2}$${\displaystyle {\kapelusz {\beta}}_{1}=0,362}$${\displaystyle {\kapelusz {\beta}}_{2}=0,556}$

Właściwości konwergencji

Można wykazać, że przyrost Δ jest kierunek zejście do S , a gdy zbieżny algorithm to granica jest stacjonarny punkt z S . Jednak zbieżność nie jest gwarantowana, nawet lokalna zbieżność, jak w metodzie Newtona , lub zbieżność w zwykłych warunkach Wolfe'a.

Szybkość zbieżności algorytmu Gaussa-Newtona może zbliżyć się do kwadratu . Algorytm może być zbieżny powoli lub wcale, jeśli początkowe domysły są dalekie od minimum lub macierz jest źle uwarunkowana . Rozważmy na przykład problem z równaniami i zmienną, podaną przez ${\ Displaystyle \ mathbf {J_ {r} ^ {\ mathsf {T}} J_ {r}}}$${\ Displaystyle m = 2}$${\displaystyle n=1}$

${\ Displaystyle {\ zacząć {wyrównany} r_ {1} (\ beta ) & = \ beta +1, \ \ r_ {2} (\ beta ) i = \ lambda \ beta ^ {2} + \ beta -1. \end{wyrównany}}}$

Optimum jest przy . (Właściwie optimum to dla , ponieważ , ale .) Jeśli , to problem jest w rzeczywistości liniowy i metoda znajduje optimum w jednej iteracji. Jeżeli |λ| < 1, to metoda zbiega się liniowo i błąd maleje asymptotycznie ze współczynnikiem |λ| w każdej iteracji. Jednakże, jeśli |λ| > 1, to metoda nie jest nawet lokalnie zbieżna. ${\ Displaystyle \ beta = 0}$${\ Displaystyle \ beta =-1}$${\ Displaystyle \ lambda = 2}$${\ Displaystyle S (0) = 1 ^ {2} + (-1) ^ {2} = 2}$${\ Displaystyle S (-1) = 0}$${\ Displaystyle \ lambda = 0}$

Wyprowadzenie z metody Newtona

W dalszej części algorytm Gaussa-Newtona zostanie wyprowadzony z metody Newtona do optymalizacji funkcji przez aproksymację. W konsekwencji szybkość zbieżności algorytmu Gaussa-Newtona może być kwadratowa w pewnych warunkach regularności. Generalnie (w słabszych warunkach) współczynnik konwergencji jest liniowy.

Relacja rekurencyjna dla metody Newtona minimalizacji funkcji S parametrów wynosi ${\displaystyle {\boldsymbol {\beta}}}$

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {(s + 1)} = {\ boldsymbol {\ beta}} ^ {(s)} - \ mathbf {H} ^ {-1} \ mathbf {g} ,}$

w którym g oznacza wektor gradientu z S , a H oznacza Hessian matrycę z S .

Ponieważ gradient jest podany przez ${\ Displaystyle S = \ suma _ {i = 1} ^ {m} r_ {i} ^ {2}}$

${\ Displaystyle g_ {j} = 2 \ suma _ {i = 1} ^ {m} r_ {i} {\ Frac {\ częściowy R_ {i}} {\ częściowy \ beta _ {j}}}.}$

Elementy hesu są obliczane przez zróżnicowanie elementów gradientu , w odniesieniu do : ${\displaystyle g_{j}}$${\ Displaystyle \ beta _ {k}}$

${\ Displaystyle H_ {jk} = 2 \ suma _ {i = 1} ^ {m} \ lewo ({\ Frac {\ częściowy R_ {i}}} {\ częściowy \ beta _ {j}}} {\ Frac { \partial r_{i}}{\partial \beta _{k}}}+r_{i}{\frac {\partial ^{2}r_{i}}{\partial \beta _{j}\partial \ beta _{k}}}\prawo).}$

Metodę Gaussa-Newtona uzyskuje się przez zignorowanie terminów pochodnych drugiego rzędu (drugi termin w tym wyrażeniu). Oznacza to, że hes jest przybliżony przez

${\ Displaystyle H_ {jk} \ około 2 \ suma _ {i = 1} ^ {m} J_ {ij} J_ {ik}}$

gdzie są wpisy jakobian J _r . Gradient i przybliżony hesjan można zapisać w notacji macierzowej jako ${\ Displaystyle J_ {ij} = {\ Frac {\ częściowy R_ {i}} {\ częściowy \ beta _ {j}}}}$

${\ Displaystyle \ mathbf {g} = 2 {\ mathbf {J} _ {\ mathbf {r}}} ^ {\ mathsf {T}} \ mathbf {r} \ quad \ mathbf {H} \ około 2 { \mathbf {J} _{\mathbf {r} }}^{\mathsf {T}}\mathbf {J_{r}} .}$

Wyrażenia te są podstawiane do powyższej relacji rekurencyjnej w celu uzyskania równań operacyjnych

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {(s + 1)} = {\ boldsymbol {\ beta}} ^ {(s)} + \ delta; \ quad \ delta = - \ lewo (\ mathbf { J_{r}} ^{\mathsf {T}}\mathbf {J_{r}} \right)^{-1}\mathbf {J_{r}} ^{\mathsf {T}}\mathbf {r} .}$

Zbieżność metody Gaussa-Newtona nie jest gwarantowana we wszystkich przypadkach. Przybliżenie

${\ Displaystyle \ lewo | r_ {i} {\ Frac {\ częściowy ^ {2} r_ {i}} \ częściowy \ beta _ {j} \ częściowy \ beta _ {k}}} \ prawej | \ ll \ left|{\frac {\partial r_{i}}{\partial \beta _{j}}}{\frac {\partial r_{i}}{\partial \beta _{k}}}\right|}$

które muszą być spełnione, aby móc zignorować terminy pochodne drugiego rzędu, mogą być ważne w dwóch przypadkach, dla których należy oczekiwać zbieżności:

1. Wartości funkcji są małe, przynajmniej w okolicach minimum.${\displaystyle r_{i}}$
2. Funkcje są tylko „łagodnie” nieliniowe, więc ich wielkość jest stosunkowo niewielka.${\ Displaystyle {\ Frac {\ częściowy ^ {2} r_ {i}} {\ częściowy \ beta _ {j} \ częściowy \ beta _ {k}}}}$

Ulepszone wersje

Z metodą Gaussa-Newtona suma kwadratów reszt S może nie zmniejszać się w każdej iteracji. Jednakże, ponieważ Δ jest kierunkiem opadania, chyba że jest punktem stacjonarnym, to dla wszystkich wystarczająco małych . Zatem w przypadku wystąpienia dywergencji jednym z rozwiązań jest zastosowanie ułamka wektora przyrostu Δ we wzorze aktualizacyjnym: ${\ Displaystyle S \ lewo ({\ pogrubienie {\ beta}} ^ {s} \ prawej)}$${\ Displaystyle S \ lewo ({\ pogrubiony symbol {\ beta}} ^ {s} + \ alfa \ Delta \ po prawej) < S \ lewo ({\ pogrubiony symbol {\ beta}} ^ {s} \ po prawej)}$${\ Displaystyle \ alfa > 0}$${\ Displaystyle \ alfa}$

${\ Displaystyle {\ boldsymbol {\ beta}} ^ {s + 1} = {\ boldsymbol {\ beta}} ^ {s} + \ alfa \ delta.}$.

Innymi słowy, wektor przyrostu jest zbyt długi, ale nadal wskazuje „w dół”, więc przejście tylko części drogi zmniejszy funkcję celu S . Optymalną wartość dla można znaleźć za pomocą algorytmu wyszukiwania linii , to znaczy, że wielkość jest określana przez znalezienie wartości, która minimalizuje S , zwykle przy użyciu metody wyszukiwania bezpośredniego w przedziale lub wyszukiwania linii z cofaniem, takiego jak wyszukiwanie linii Armijo . Zazwyczaj powinien być tak dobrany, aby spełniał warunki Wolfe'a lub Goldsteina . ${\ Displaystyle \ alfa}$${\ Displaystyle \ alfa}$${\displaystyle 0<\alfa <1}$${\ Displaystyle \ alfa}$

W przypadkach, gdy kierunek wektora przesunięcia jest taki, że optymalny ułamek α jest bliski zeru, alternatywną metodą obsługi dywergencji jest użycie algorytmu Levenberga-Marquardta , metody regionu zaufania . Równania normalne są modyfikowane w taki sposób, że wektor przyrostu jest obracany w kierunku najbardziej stromego opadania ,

${\ Displaystyle \ lewo (\ mathbf {J ^ {\ mathsf {T}} J + \ lambda D} \ prawej) \ Delta = - \ mathbf {J} ^ {\ mathsf {T}} \ mathbf {R} }$

gdzie D jest dodatnią macierzą diagonalną. Należy zauważyć, że jeśli D oznacza macierz identyczności I i , następnie , w związku z czym kierunek hemibursztynianu zbliża się do kierunku gradientu ujemnym . ${\ Displaystyle \ lambda \ do + \ infty}$${\ Displaystyle \ Lambda \ Delta = \ Lambda \ lewo (\ mathbf {J ^ {\ mathsf {T}} J} + \ Lambda \ mathbf {I} \ prawej) ^ {-1} \ lewo (- \ mathbf { J} ^{\mathsf {T}}\mathbf {r} \right)=\left(\mathbf {I} -\mathbf {J^{\mathsf {T}}J} /\lambda +\cdots \right )\left(-\mathbf {J} ^{\mathsf {T}}\mathbf {r} \right)\to -\mathbf {J} ^{\mathsf {T}}\mathbf {r} }$${\ Displaystyle - \ mathbf {J} ^ {\ mathsf {T}} \ mathbf {R}}$

Tak zwany parametr Marquardt może być również zoptymalizowany przez przeszukiwanie linii, ale jest to nieefektywne, ponieważ wektor przesunięcia musi być przeliczany przy każdej zmianie. Bardziej wydajna strategia jest następująca: Gdy wystąpi dywergencja, zwiększaj parametr Marquardt, aż nastąpi spadek S . Następnie zachowaj wartość z jednej iteracji do następnej, ale zmniejszaj ją, jeśli to możliwe, aż do osiągnięcia wartości odcięcia, kiedy parametr Marquardt można ustawić na zero; minimalizacja S staje się wtedy standardową minimalizacją Gaussa-Newtona. ${\ Displaystyle \ lambda}$${\ Displaystyle \ lambda}$

Optymalizacja na dużą skalę

W przypadku optymalizacji na dużą skalę metoda Gaussa-Newtona jest szczególnie interesująca, ponieważ często (choć na pewno nie zawsze) prawdą jest, że macierz jest bardziej rzadka niż przybliżona Hessian . W takich przypadkach samo obliczenie kroku będzie zazwyczaj musiało być wykonane przy użyciu przybliżonej metody iteracyjnej odpowiedniej dla dużych i rzadkich problemów, takiej jak metoda gradientu sprzężonego . ${\ Displaystyle \ mathbf {J} _ {\ mathbf {R}}}$${\ Displaystyle \ mathbf {J} _ {\ mathbf {R}} ^ {\ mathsf {T}} \ mathbf {J_ {R}}}$

Aby takie podejście zadziałało, potrzebna jest przynajmniej wydajna metoda obliczania produktu

${\ Displaystyle {\ mathbf {J} _ {\ mathbf {R} }} ^ {\ mathsf {T}} \ mathbf {J_ {R}} \ mathbf {p}}$

dla niektórych wektorów p . W przypadku przechowywania macierzy rzadkiej , ogólnie praktyczne jest przechowywanie wierszy w postaci skompresowanej (np. bez wpisów zerowych), co utrudnia bezpośrednie obliczenie powyższego produktu ze względu na transpozycję. Jeśli jednak zdefiniujemy c _i jako wiersz i macierzy , zachodzi następująca prosta zależność: ${\ Displaystyle \ mathbf {J} _ {\ mathbf {R}}}$${\ Displaystyle \ mathbf {J} _ {\ mathbf {R}}}$

${\ Displaystyle {\ mathbf {J} _ {\ mathbf {R}}} ^ {\ mathsf {T}} \ mathbf {J_ {R}} \ mathbf {p} = \ suma _ {i} \ mathbf {c } _{i}\lewo(\mathbf {c} _{i}\cdot \mathbf {p} \prawo),}$

aby każdy rząd wnosił addytywny i niezależny wkład do produktu. Poza przestrzeganiem praktycznej, rzadkiej struktury pamięci, wyrażenie to dobrze nadaje się do obliczeń równoległych . Zauważ, że każdy wiersz c _i jest gradientem odpowiadającej mu reszty r _i ; mając to na uwadze, powyższy wzór podkreśla fakt, że reszty przyczyniają się do problemu niezależnie od siebie.

Powiązane algorytmy

W metodzie quasi-Newtona , takiej jak metoda Davidona, Fletchera i Powella lub Broydena-Fletchera-Goldfarba-Shanno ( metoda BFGS ), oszacowanie pełnego Hessu jest budowane numerycznie przy użyciu tylko pierwszych pochodnych, tak że po n cyklach udokładniania Metoda jest bardzo zbliżona do metody Newtona pod względem wydajności. Zauważ, że metody quasi-Newtona mogą minimalizować ogólne funkcje o wartościach rzeczywistych, podczas gdy Gauss-Newton, Levenberg-Marquardt itp. pasują tylko do nieliniowych problemów najmniejszych kwadratów. ${\ Displaystyle {\ Frac {\ częściowy ^ {2} S} \ częściowy \ beta _ {j} \ częściowy \ beta _ {k}}}}$${\ Displaystyle {\ Frac {\ częściowy r_ {i}}} {\ częściowy \ beta _ {j}}}}$

Inną metodą rozwiązywania problemów minimalizacji przy użyciu tylko pierwszych pochodnych jest metoda gradientu . Jednak ta metoda nie uwzględnia drugich pochodnych nawet w przybliżeniu. W konsekwencji jest wysoce nieefektywny dla wielu funkcji, zwłaszcza jeśli parametry mają silne interakcje.

Uwagi

Bibliografia

• Björck, A. (1996). Metody numeryczne dla zadań najmniejszych kwadratów . SIAM, Filadelfia. Numer ISBN 0-89871-360-9.
• Fletcher, Roger (1987). Praktyczne metody optymalizacji (wyd. 2). Nowy Jork: John Wiley i Synowie . Numer ISBN 978-0-471-91547-8..
• Nocedal, Jorge; Wright, Stephen (1999). Optymalizacja numeryczna . Nowy Jork: Springer. Numer ISBN 0-387-98793-2.

Linki zewnętrzne

• Prawdopodobieństwo, statystyka i estymacja Algorytm jest szczegółowy i zastosowany do eksperymentu biologicznego omówionego jako przykład w tym artykule (strona 84 z niepewnościami szacowanych wartości).

Realizacje

• Artelys Knitro to nieliniowy solwer z implementacją metody Gaussa-Newtona. Jest napisany w C i posiada interfejsy do C++/C#/Java/Python/MATLAB/R.