Перегляд вихідного коду сторінки Алгоритм Левенберга — Марквардта

'''Алгоритм Левенберга–Марквардта''' ({{lang-en|Levenberg–Marquardt algorithm}}, '''LMA''' або просто '''LM'''), також відомий як метод '''сгасних найменших квадратів''' ({{lang-en|damped least-squares}}, '''DLS''') використовується у [[Математика|математиці]] та обчислювальній техніці для розв'язування нелінійних задач найменших квадратів. Такі задачі мінімізації особливо актуальні при підборі кривої [[Метод найменших квадратів|методом найменших квадратів]]. LMA інтерполює між алгоритмом Гаусса–Ньютона (GNA) та методом [[Градієнтний спуск|градієнтного спуску]]. LMA є більш [[Відмовостійкість (інформатика)|надійним]], ніж GNA, що означає, що в багатьох випадках він знаходить рішення, навіть якщо воно починається дуже далеко від кінцевого мінімуму. Для нормальної роботи функцій і розумних стартових параметрів LMA, як правило, повільніше, ніж GNA. LMA також можна розглядати як Гаусса–Ньютона, використовуючи підхід довіри до регіону.

Алгоритм був вперше опублікований у 1944 році {{Нп|Кеннет Левенберг|Кеннетом Левенбергом||Kenneth Levenberg}},<ref name="Levenberg">{{Нп|Кеннет Левенберг|||Kenneth Levenberg}}{{cite journal|year=1944|title=A Method for the Solution of Certain Non-Linear Problems in Least Squares|url=https://archive.org/details/sim_quarterly-of-applied-mathematics_1944-07_2_2/page/164|journal=Quarterly of Applied Mathematics|volume=2|issue=2|pages=164–168|doi=10.1090/qam/10666|doi-access=free}}</ref> під час роботи у Франкфордському армійському арсеналі. У 1963 році його знову відкрили {{Нп|Дональд Марквардт|Дональд Марквардт||Donald Marquardt}},<ref name="Marquardt">{{Нп|Дональд Марквардт|Дональд Марквардт||Donald Marquardt}}{{cite journal|title=.An Algorithm for Least-Squares Estimation of Nonlinear Parameters|journal=SIAM Journal on Applied Mathematics|volume=11|issue=2|pages=431–441|doi=10.1137/0111030}}</ref> який працював [[статистик]]ом у [[DuPont]], і незалежно Жірард<ref name="Girard">{{cite journal|last=Girard|first=André|year=1958|title=Excerpt from ''Revue d'optique théorique et instrumentale''|journal=Rev. Opt.|volume=37|pages=225–241, 397–424}}
</ref>, Вінн<ref name="Wynne">{{cite journal|last=Wynne|first=C. G.|year=1959|title=Lens Designing by Electronic Digital Computer: I|journal=Proc. Phys. Soc. Lond.|volume=73|issue=5|pages=777–787|bibcode=1959PPS....73..777W|doi=10.1088/0370-1328/73/5/310}}
</ref> і Моррісон<ref name="Morrison">{{cite journal|last=Morrison|first=David D.|year=1960|title=Methods for nonlinear least squares problems and convergence proofs|journal=Proceedings of the Jet Propulsion Laboratory Seminar on Tracking Programs and Orbit Determination|pages=1–9}}</ref>.

LMA використовується в багатьох програмних додатках для розв'язання загальних задач {{Нп|допасовування кривої|||Curve fitting}}. Використовуючи алгоритм Гаусса–Ньютона, він часто сходиться швидше, ніж методи першого порядку.<ref>{{Cite journal|last=Wiliamowski|first=Bogdan|last2=Yu|first2=Hao|date=June 2010|title=Improved Computation for Levenberg–Marquardt Training|url=https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=21|issue=6|accessdate=21 травня 2022|archive-date=21 січня 2022|archive-url=https://web.archive.org/web/20220121064217/https://www.eng.auburn.edu/~wilambm/pap/2010/Improved%20Computation%20for%20LM%20Training.pdf}}</ref> Однак, як і інші алгоритми ітераційної оптимізації, LMA знаходить лише [[Екстремум|локальний мінімум]], який не обов'язково є [[Екстремум|глобальним мінімумом]].

== Проблема ==
Основне застосування алгоритму Левенберга–Марквардта полягає в задачі {{Нп|допасовування кривої|||Curve fitting}} методом найменших квадратів: для заданого набору <math>m</math> емпіричних пар <math>\left (x_i, y_i\right )</math> незалежних і залежних змінних, знайти параметри {{Tmath|\boldsymbol\beta}} модельної кривої <math>f\left (x, \boldsymbol\beta\right )</math> так, щоб суму квадратів відхилень <math>S\left (\boldsymbol\beta\right )</math> було зведено до мінімуму:

: <math>\hat{\boldsymbol\beta} \in \operatorname{argmin}\limits_{\boldsymbol\beta} S\left (\boldsymbol\beta\right ) \equiv \operatorname{argmin}\limits_{\boldsymbol\beta} \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right )\right ]^2,</math> набір вважається непорожнім.

== Рішення ==
Як і інші алгоритми чисельної мінімізації, алгоритм Левенберга–Марквардта є [[Ітерація|ітераційною]] процедурою. Щоб почати мінімізацію, користувач повинен надати початкове припущення для вектора параметрів {{Tmath|\boldsymbol\beta}}. У випадках лише з одним мінімумом, ненавчені стандартні припущення, як <math>\boldsymbol\beta^\text{T} = \begin{pmatrix}1,\ 1,\ \dots,\ 1\end{pmatrix}</math> буде працювати нормально; у випадках з [[Екстремум|кількома мінімумами]] алгоритм сходить до глобального мінімуму лише в тому випадку, якщо початкове припущення вже дещо близько до остаточного рішення.

На кожному кроці ітерації вектор параметрів {{Tmath|\boldsymbol\beta}} замінюється на нову оцінку {{Tmath|\boldsymbol\beta + \boldsymbol\delta}}. Щоб визначити {{Tmath|\boldsymbol\delta}}, функція <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> апроксимується його [[Градієнт|лінеаризацією]]:
: <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right ) \approx f\left (x _i, \boldsymbol\beta\right ) + \mathbf J_i \boldsymbol\delta,</math>

де
: <math>\mathbf J_i = \frac{\partial f\left (x_i, \boldsymbol\beta\right )}{\partial \boldsymbol\beta}</math>
є [[градієнт]]ом (в даному випадку вектором рядка) {{Tmath|f}} з відношенням до {{Tmath|\boldsymbol\beta}}.

Сума <math>S\left (\boldsymbol\beta\right )</math> квадратних відхилень має свій мінімум при нульовому [[градієнт]]і по відношенню до {{Tmath|\boldsymbol\beta}}. Наведене вище наближення першого порядку <math>f\left (x_i, \boldsymbol\beta + \boldsymbol\delta\right )</math> дає
: <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right ) \approx \sum_{i=1}^m \left [y_i - f\left (x_i, \boldsymbol\beta\right ) - \mathbf J_i \boldsymbol\delta\right ]^2,</math>

або у векторному позначенні,
: <math>\begin{align}
 S\left (\boldsymbol\beta + \boldsymbol\delta\right ) &\approx \left \|\mathbf y - \mathbf f\left (\boldsymbol\beta\right ) - \mathbf J\boldsymbol\delta\right \|^2\\
 &= \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right ) - \mathbf J\boldsymbol\delta \right ]^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right ) - \mathbf J\boldsymbol\delta\right ]\\
 &= \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ] - \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T} \mathbf J \boldsymbol\delta - \left (\mathbf J \boldsymbol\delta\right )^{\mathrm T} \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ] + \boldsymbol\delta^{\mathrm T} \mathbf J^{\mathrm T} \mathbf J \boldsymbol\delta\\
 &= \left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ] - 2\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]^{\mathrm T} \mathbf J \boldsymbol\delta + \boldsymbol\delta^{\mathrm T} \mathbf J^{\mathrm T} \mathbf J\boldsymbol\delta.
\end{align}</math>

Візьмемо похідну від <math>S\left (\boldsymbol\beta + \boldsymbol\delta\right )</math> з відношенням до {{Tmath|\boldsymbol\delta}} і встановлення результату на нуль, що дає
: <math>\left (\mathbf J^{\mathrm T} \mathbf J\right )\boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ],</math>

де <math>\mathbf J</math> є [[матриця Якобі]], у якій {{Tmath|i}}-й ряд дорівнює <math>\mathbf J_i</math>, і де <math>\mathbf f\left (\boldsymbol\beta\right )</math> і <math>\mathbf y</math> є векторами з {{Tmath|i}}-ї компоненти <math>f\left (x_i, \boldsymbol\beta\right )</math> і <math>y_i</math> відповідно. Наведений вище вираз отримано для {{Tmath|\boldsymbol\beta}} підпадає під метод Гаусса–Ньютона. Матриця Якобі, як визначено вище, є (загалом) не квадратною матрицею, а прямокутною матрицею розміру <math>m \times n</math>, де <math>n</math>&nbsp;— кількість параметрів (розмір вектора <math>\boldsymbol\beta</math>). Матричне множення <math>\left (\mathbf J^{\mathrm T} \mathbf J\right)</math> дає необхідну <math>n \times n</math> квадратну матрицю і добуток матриці-вектору з правого боку дають вектор розміру <math>n</math>. В результаті виходить набір <math>n</math> лінійних рівнянь, які можна розв'язувати для {{Tmath|\boldsymbol\delta}}.А

Внесок Левенберга полягає в тому, щоб замінити це рівняння на «згасну версію»:
: <math>\left (\mathbf J^{\mathrm T} \mathbf J + \lambda\mathbf I\right ) \boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right],</math>
де {{Tmath|\mathbf I}} є одиничною матрицею, що дає приріст {{Tmath|\boldsymbol\delta}} до розрахункового вектора параметрів {{Tmath|\boldsymbol\beta}}.

Коефіцієнт (невід'ємного) демпфування {{Tmath|\lambda}} коригується на кожній ітерації. Якщо зменшення {{Tmath|S}} є швидким, можна використовувати менше значення, наближаючи алгоритм до алгоритму Гаусса–Ньютона, тоді як, якщо ітерація дає недостатнє зменшення залишку, {{Tmath|\lambda}} можна збільшити, наблизивши на крок до напрямку градієнтного спуску. Зверніть увагу, що [[градієнт]] {{Tmath|S}} з відношенням до {{Tmath|\boldsymbol\beta}} дорівнює <math>-2\left (\mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]\right )^{\mathrm T}</math>. Тому для великих значень {{Tmath|\lambda}}, крок буде зроблено приблизно в напрямку, протилежному градієнту. Якщо будь-яка довжина обчисленого кроку {{Tmath|\boldsymbol\delta}} або зменшення суми квадратів з останнього вектора параметрів {{Tmath|\boldsymbol\beta + \boldsymbol\delta}} падають нижче попередньо визначених меж, ітерація зупиняється та останній вектор параметра {{Tmath|\boldsymbol\beta}} вважається рішенням.

Коли коефіцієнт демпфування {{Tmath|\lambda}} є великим відносно <math> \| \mathbf J^{\mathrm T} \mathbf J \| </math>, інвертувати <math> \mathbf J^{\mathrm T} \mathbf J + \lambda \mathbf I </math> не потрібно, оскільки оновлення добре апроксимується невеликим кроком градієнта <math> \lambda^{-1} \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ]</math>.

Щоб зробити масштаб рішення інваріантним, алгоритм Марквардта розв'язав модифіковану задачу з кожним компонентом градієнта, масштабованим відповідно до кривизни. Це забезпечує більший рух уздовж напрямків, де градієнт менший, що дозволяє уникнути повільної збіжності в напрямку малого градієнта. Флетчер у своїй статті 1971 ''року Модифікована підпрограма Марквардта для нелінійних найменших квадратів'' спростив форму, замінивши ідентичну матрицю {{Tmath|\mathbf I}} з діагональною матрицею, що складається з діагональних елементів {{Tmath|\mathbf J^\text{T}\mathbf J}} :
: <math>\left [\mathbf J^{\mathrm T} \mathbf J + \lambda \operatorname{diag}\left (\mathbf J^{\mathrm T} \mathbf J\right )\right ] \boldsymbol\delta = \mathbf J^{\mathrm T}\left [\mathbf y - \mathbf f\left (\boldsymbol\beta\right )\right ].</math>

Подібний коефіцієнт демпфування з'являється в [[Регуляризація Тихонова|регуляризації Тихонова]], яка використовується для розв'язування лінійних [[Коректно поставлена задача|неправильних задач]], а також у регресії хребта, методиці [[Теорія оцінювання|оцінки]] в [[Статистика|статистиці]].

=== Вибір параметра демпфування ===
Для кращого вибору параметра демпфування були висунуті різні більш-менш евристичні аргументи {{Tmath|\lambda}}. Існують теоретичні аргументи, які показують, чому деякі з цих варіантів гарантують локальну збіжність алгоритму; однак ці варіанти можуть призвести до того, що глобальна збіжність алгоритму страждає від небажаних властивостей [[Градієнтний спуск|найкрутішого спуску]], зокрема, дуже повільної збіжності, близької до оптимальної.

Абсолютні значення будь-якого вибору залежать від того, наскільки добре масштабована початкова проблема. Марквардт рекомендував починати зі значення {{Tmath|\lambda_0}} і фактор {{Tmath|\nu > 1}}. Спочатку налаштування <math>\lambda = \lambda_0</math> і обчислення залишкової суми квадратів <math>S\left (\boldsymbol\beta\right )</math> через один крок від початкової точки з коефіцієнтом демпфування <math>\lambda = \lambda_0</math> а по-друге з {{Tmath|\lambda_0 / \nu}}. Якщо обидва ці показники гірші за початкову точку, то згасання збільшується шляхом послідовного множення на {{Tmath|\nu}} поки не буде знайдено кращу точку з новим коефіцієнтом демпфування {{Tmath|\lambda_0\nu^k}} для деяких {{Tmath|k}}.

Якщо використати коефіцієнт демпфування {{Tmath|\lambda / \nu}} це призводить до зменшення квадрата залишку, то це приймається за нове значення {{Tmath|\lambda}} (і нове оптимальне розташування приймається як те, що отримано з цим коефіцієнтом демпфування) і процес продовжується; якщо використовувати {{Tmath|\lambda / \nu}} це призведе до гіршого залишку, але використання {{Tmath|\lambda}} призведе до кращого залишку, тоді {{Tmath|\lambda}} залишається без змін, а новий оптимум приймається за значення, отримане с {{Tmath|\lambda}} як демпфуючий фактор.

Ефективна стратегія для контролю параметра демпфування, що називається ''відкладеним задоволенням'', полягає у збільшенні параметра на невелику величину для кожного кроку на підйом і зменшення на велику величину для кожного кроку вниз. Ідея цієї стратегії полягає в тому, щоб уникнути занадто швидкого спуску на початку оптимізації, отже, обмежуючи кроки, доступні в майбутніх ітераціях, і, отже, сповільнюючи зближення<ref name="Transtrum2011">{{cite journal|last1=Transtrum|first1=Mark K|last2=Machta|first2=Benjamin B|last3=Sethna|first3=James P|year=2011|title=Geometry of nonlinear least squares with applications to sloppy models and optimization|journal=Physical Review E|publisher=APS|volume=83|issue=3|pages=036701|arxiv=1010.1449|bibcode=2011PhRvE..83c6701T|doi=10.1103/PhysRevE.83.036701|pmid=21517619|s2cid=15361707}}</ref>. Збільшення в 2 рази і зменшення в 3 рази виявилося ефективним у більшості випадків, тоді як для великих проблем більш екстремальні значення можуть працювати краще, зі збільшенням у 1,5 раза та зменшенням у 5 раз.<ref name="Transtrum2012">{{cite arXiv|title=Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization|year=2012|eprint=1201.5885|last1=Transtrum|first1=Mark K|last2=Sethna|first2=James P|class=physics.data-an}}</ref>

=== Геодезичне прискорення ===
При інтерпретації кроку Левенберга–Марквардта як швидкості <math>\boldsymbol{v}_k</math> вздовж [[Геодезична лінія|геодезичної]] траєкторії в просторі параметрів можна покращити метод, додавши член другого порядку, що враховує прискорення <math>\boldsymbol{a}_k</math> вздовж геодезичної
: <math>
\boldsymbol{v}_k + \frac{1}{2} \boldsymbol{a}_k
</math>
де <math>\boldsymbol{a}_k</math> є рішенням
: <math>
\boldsymbol{J}_k \boldsymbol{a}_k = -f_{vv}.
</math>

Оскільки цей член геодезичного прискорення залежить лише від [[Похідна за напрямком|похідної за напрямком]] <math>f_{vv} = \sum_{\mu\nu} v_{\mu} v_{\nu} \partial_{\mu} \partial_{\nu} f (\boldsymbol{x})</math> вздовж напрямку швидкості <math>\boldsymbol{v}</math>, він не вимагає обчислення повної похідної матриці другого порядку, вимагаючи лише невеликих накладних обчислювальних витрат.<ref>{{Cite web|url=https://www.gnu.org/software/gsl/doc/html/nls.html|title=Nonlinear Least-Squares Fitting|publisher=GNU Scientific Library|archiveurl=https://web.archive.org/web/20200414204913/https://www.gnu.org/software/gsl/doc/html/nls.html|archivedate=2020-04-14}}</ref> Оскільки похідна другого порядку може бути досить складним виразом, може бути зручно замінити її наближенням [[Скінченні різниці|скінченної різниці]]
: <math>
\begin{align}
f_{vv}^i &\approx \frac{f_i(\boldsymbol{x} + h \boldsymbol{\delta}) - 2 f_i(\boldsymbol{x}) + f_i(\boldsymbol{x} - h \boldsymbol{\delta})}{h^2} \\
      &= \frac{2}{h} \left( \frac{f_i(\boldsymbol{x} + h \boldsymbol{\delta}) - f_i(\boldsymbol{x})}{h} - \boldsymbol{J}_i \boldsymbol{\delta} \right)
\end{align}
</math>
де <math>f(\boldsymbol{x})</math> і <math>\boldsymbol{J}</math> вже були обчислені за допомогою алгоритму, тому для обчислення потрібна лише одна додаткова оцінка функції <math>f(\boldsymbol{x} + h \boldsymbol{\delta})</math>. Вибір скінченного різницевого кроку <math>h</math> може вплинути на стабільність алгоритму, вибір значення близько 0,1 зазвичай є розумним.

Оскільки прискорення може вказувати в напрямку, протилежному швидкості, щоб запобігти зупинці методу, якщо демпфування занадто мале, додається додатковий критерій прискорення, щоб прийняти крок, який вимагає, що
: <math>
\frac{2 \left\| \boldsymbol{a}_k \right\|}{\left\| \boldsymbol{v}_k \right\|} \le \alpha
</math>
де <math>\alpha</math> зазвичай фіксується до значення менше ніж 1, з меншими значеннями для складніших задач.<ref name="Transtrum2012"/>

Додавання геодезичного члена прискорення може дозволити суттєво збільшити швидкість збіжності, і це особливо корисно, коли алгоритм рухається через вузькі каньйони в ландшафті цільової функції, де дозволені кроки менші, а точність вища завдяки другому порядку термін дає значні покращення.<ref name="Transtrum2012"/>

== Приклад ==
[[Файл:Lev-Mar-poor-fit.png|міні| Погано підходить]]
[[Файл:Lev-Mar-better-fit.png|міні| Краще підходить]]
[[Файл:Lev-Mar-best-fit.png|міні| Найкраще підходить]]
У цьому прикладі ми намагаємося підібрати функції <math>y = a \cos\left (bX\right ) + b \sin\left (aX\right )</math> використовуючи алгоритм Левенберга–Марквардта, реалізований в [[GNU Octave]], як функцію ''leasqr''. Графіки показують, що вони все краще відповідають параметрам <math>a = 100</math>, <math>b = 102</math> що використовується на початковій кривій. Лише тоді, коли параметри останнього графіка вибрано найближчими до оригіналу, криві точно підходять. Це рівняння є прикладом дуже чутливих початкових умов для алгоритму Левенберга–Марквардта. Однією з причин такої чутливості є існування кількох мінімумів&nbsp;— функції <math>\cos\left (\beta x\right )</math> що має мінімуми при значенні параметра <math>\hat\beta</math> і <math>\hat\beta + 2n\pi</math>.

== Див. також ==

* {{Нп|Довірча область|||Trust region}}
* [[Метод Нелдера – Міда]]
* Варіанти алгоритму Левенберга–Марквардта також використовувалися для розв'язування нелінійних систем рівнянь.<ref>{{Cite journal|last=Kanzow|first=Christian|last2=Yamashita|first2=Nobuo|last3=Fukushima|first3=Masao|year=2004|title=Levenberg–Marquardt methods with strong local convergence properties for solving nonlinear equations with convex constraints|journal=Journal of Computational and Applied Mathematics|volume=172|issue=2|pages=375–397|bibcode=2004JCoAM.172..375K|doi=10.1016/j.cam.2004.02.013|doi-access=free}}</ref>

== Примітки ==
{{reflist}}

== Література ==
{{Refbegin}}
* {{cite journal
  | last1=Moré |first1=Jorge J. 
  | last2=Sorensen |first2=Daniel C.
  | year    = 1983
  | title   = Computing a Trust-Region Step
  | journal = SIAM J. Sci. Stat. Comput.
  |volume=4 
 | pages   = 553–572
  | issue   = 3
  |doi=10.1137/0904038 
 | url=https://digital.library.unt.edu/ark:/67531/metadc283525/m2/1/high_res_d/metadc283525.pdf
  }}
* {{cite journal
  | last1=Gill |first1= Philip E.
  | last2=Murray |first2=Walter |author-link2=Walter Murray (mathematician)
  | year    = 1978
  | title   = Algorithms for the solution of the nonlinear least-squares problem
  | journal = [[SIAM Journal on Numerical Analysis]]
  | doi     = 10.1137/0715063
  | volume  = 15
  | issue   = 5
  | pages   = 977–992
  |bibcode= 1978SJNA...15..977G
 }}
* {{cite journal
 |last      = Pujol
 |first     = Jose
 |year      = 2007
 |title     = The solution of nonlinear inverse problems and the Levenberg-Marquardt method
 |journal   = Geophysics
 |publisher = SEG
 |doi       = 10.1190/1.2732552
 |volume    = 72
 |number    = 4
 |pages     = W1–W16
 |url       = http://link.aip.org/link/?GPY/72/W1/1
 |bibcode   = 2007Geop...72W...1P
}}{{Dead link|date=February 2020 |bot=InternetArchiveBot |fix-attempted=yes }}
* {{cite book
  | last1     = Nocedal  | first1     = Jorge
  | last2     = Wright   | first2     = Stephen J.
  | year      = 2006
  | title     = Numerical Optimization |edition=2nd
  | publisher = Springer
  | isbn      = 978-0-387-30303-1
  }}
{{Refend}}

== Зовнішні посилання ==

* [[Numerical Recipes|Numerical Recipes in C]], Chapter 15.5: Nonlinear models
* C. T. Kelley, ''Iterative Methods for Optimization'', SIAM Frontiers in Applied Mathematics, no 18, 1999, {{isbn|0-89871-433-8}}. [http://www.siam.org/books/textbooks/fr18_book.pdf Online copy]
* [https://web.archive.org/web/20140301154319/http://www3.villanova.edu/maple/misc/mtc1093.html History of the algorithm in SIAM news]
* [http://ananth.in/docs/lmtut.pdf A tutorial by Ananth Ranganathan]
* K. Madsen, H. B. Nielsen, O. Tingleff, ''[http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3215/pdf/imm3215.pdf Methods for Non-Linear Least Squares Problems]'' (nonlinear least-squares tutorial; L-M code: [https://archive.today/20180516200006/http://www2.imm.dtu.dk/projects/hbn_software/marquardt.m analytic Jacobian] [https://archive.today/20180516200045/http://www2.imm.dtu.dk/projects/hbn_software/SMarquardt.m secant])
* T. Strutz: ''Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond).'' 2nd edition, Springer Vieweg, 2016, {{isbn|978-3-658-11455-8}}.
* H. P. Gavin, [http://people.duke.edu/~hpgavin/ce281/lm.pdf ''The Levenberg-Marquardt method for nonlinear least-squares curve-fitting problems''] ([[MATLAB]] implementation included)
{{Методи оптимізації}}
[[Категорія:Алгоритми оптимізації]]
[[Категорія:Метод найменших квадратів]]
[[Категорія:Статистичні алгоритми]]