Матриця Гессе

Шаблон:Числення Матриця Гессе — квадратна матриця елементами якої є часткові похідні деякої функції. Це поняття запровадив Людвіг Отто Гессе (1844), використовуючи іншу назву. Термін «матриця Гессе» належить Джеймсу Джозефу Сильвестрові.

Визначення

Формально, нехай дано дійсну функцію від n змінних:

$f(x_1,x_2,\dots ,x_n),$

якщо у функції f існують всі похідні другого порядку, то можна визначити матрицю Гессе для цієї функції:

$H(f{)}_{ij}(x)=\frac{{\partial }^{2}f}{\partial x_i\partial x_j}$

де $x=(x_1,x_2,...,x_n),$ тобто $H(f)=\left[\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right].$

Визначник цієї матриці називається визначником Гессе, або гесіаном.

Значення матриці Гессе пояснюється її появою у формулі Тейлора:

$y=f(𝐱+\mathrm{\Delta }𝐱)\approx f(𝐱)+J(𝐱)\mathrm{\Delta }𝐱+\frac{1}{2}\mathrm{\Delta }{𝐱}^{\mathrm{T}}H(𝐱)\mathrm{\Delta }𝐱$

Матриці Гессе використовуються в задачах оптимізації методом Ньютона. Повне обчислення матриці Гессе може бути досить складним, тому були розроблені квазіньютонові алгоритми, засновані на наближених виразах для матриці Гессе. Найвідоміший з них — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно.

Симетрія матриці Гессе

Мішані похідні функції f — це елементи матриці Гессе, що стоять не на головній діагоналі. Якщо вони неперервні, то порядок диференціювання не важливий:

$\frac{\partial }{\partial x}\left(\frac{\partial f}{\partial y}\right)=\frac{\partial }{\partial y}\left(\frac{\partial f}{\partial x}\right).$

Це можна також записати як

$f_{yx}=f_{xy}.$

В цьому випадку матриця Гессе є симетричною.

Критичні точки функції

Якщо градієнт $f$ (її векторна похідна) рівний нулю в деякій точці $x_0$, то ця точка називається критичною.

• Якщо матриця Гессе є додатно визначеною в точці $x_0$, то $x_0$ — точка локального мінімуму функції $f(x)$.
• Якщо матриця Гессе є від'ємно визначеною в точці $x_0$, то $x_0$ — точка локального максимуму функції $f(x)$.
• Якщо матриця Гессе не є ні додатно визначеною, ні від'ємно визначеною, причому є невиродженою (тобто $(\det H(f)\ne 0)$), то $x_0$ — сідлова точка функції $f(x)$.

Обрамлена матриця Гессе

У випадку оптимізації з додатковими умовами виникає також поняття обрамленої матриці Гессе. Нехай знову маємо функцію:

$f(x_1,x_2,\dots ,x_n),$

але тепер також розглянемо умови:

$g_i(x_1,x_2,\dots ,x_n)=0,1⩽i⩽m,m<n$

При оптимізації функції f з додатковими умовами обрамлена матриця Гессе має вигляд:

$H(f,g)=\left[\begin{array}{ccccccc}0& \cdots & 0& \frac{\partial g_1}{\partial x_1}& \frac{\partial g_1}{\partial x_2}& \cdots & \frac{\partial g_1}{\partial x_n}\\ \\ ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ \\ 0& \cdots & 0& \frac{\partial g_m}{\partial x_1}& \frac{\partial g_m}{\partial x_2}& \cdots & \frac{\partial g_m}{\partial x_n}\\ \\ \frac{\partial g_1}{\partial x_1}& \cdots & \frac{\partial g_m}{\partial x_1}& \frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \\ \frac{\partial g_1}{\partial x_2}& \cdots & \frac{\partial g_m}{\partial x_2}& \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ \\ ⋮& \ddots & ⋮& ⋮& ⋮& \ddots & ⋮\\ \\ \frac{\partial g_1}{\partial x_n}& \cdots & \frac{\partial g_m}{\partial x_n}& \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \cdots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right]$

Для даної матриці можна сформувати різні головні мінори. Позначимо $|H_i(f,g)|,2⩽i⩽n$ — головний мінор матриці, для якого останнім елементом на головній діагоналі є $\frac{{\partial }^{2}f}{\partial x_i^2}.$ Тоді можна сформувати достатні умови екстремуму для функції при виконанні обмежень.

Функція буде мати максимум при виконанні умов, якщо знаки послідовних n - m мінорів $|H_i(f,g)|,m+1⩽i⩽n,$ будуть чергуватися, при чому знак $|H_i(f,g)|$ буде рівний $(-1{)}^{m+1}.$

Функція буде мати мінімум при виконанні умов, всі послідовні n - m мінорів $|H_i(f,g)|,m+1⩽i⩽n,$ мають один знак, а саме $(-1{)}^m.$

Варіації і узагальнення

Якщо f — векторзначна функція, тобто

$f=(f_1,f_2,\dots f_n),$

то її другі часткові похідні утворюють не матрицю, а тензор рангу n+1.

Література

• Шаблон:Фіхтенгольц.укр
• Шаблон:Ляшко.Ємельянов.Боярчук.Математичний аналіз.ч1
• Chiang, Alpha C., Fundamental Methods of Mathematical Economics, third edition, McGraw-Hill, 1984.
• Nocedal, Jorge; Wright, Stephen J. (2006), Numerical Optimization (2nd ed.), Berlin, New York: Springer-Verlag, ISBN 978-0-387-30303-1