Функція цінності

Функція цінності оптимізаційної задачі дає значення, отримане виконанням цільової функції, але тільки в залежності від параметрів задачі. У керованій динамічній системі функція цінності представляє оптимальний винагороду системи на інтервалі [t, t₁] при старті в момент часу t стану x(t)=x. Якщо цільова функція представляє деяку вартість, яку потрібно мінімізувати, функцію цінності можна інтерпретувати як собівартість завершення оптимальної програми, і тому її називають «функцією собівартості». В економічному контексті, де цільова функція зазвичай представляє корисність, функція цінності концептуально еквівалентна функції непрямої корисності.

У задачі оптимального керування функція цінності визначається як супремум цільової функції, взятий на множині допустимих дій. При $(t_0,x_0)\in [0,t_1]\times {ℝ}^d$, типова задача оптимального керування полягає в

$\text{maximize}J(t_0,x_0;u)=\underset{t_0}{\overset{t_1}{\int }}I(t,x(t),u(t))\mathrm{d}t+\varphi (x(t_1))$

за умови, що

$\frac{\mathrm{d}x(t)}{\mathrm{d}t}=f(t,x(t),u(t))$

з початковим станом

$x(t_0)=x_0$

. Цільова функція

$J(t_0,x_0;u)$

має бути максимізовано за всіма допустимими діями

$u\in U[t_0,t_1]$

, де

$u$

є функцією вимірною за мірою Лебега, яка відображає інтервал

$[t_0,t_1]$

у визначену підмножину

${ℝ}^m$

. Тоді функція цінності має вигляд

$V(t,x(t))=\underset{u\in U}{\max }\underset{t}{\overset{t_1}{\int }}I(\tau ,x(\tau ),u(\tau ))\mathrm{d}\tau +\varphi (x(t_1))$

з

$V(t_1,x(t_1))=\varphi (x(t_1))$

, де

$\varphi (x(t_1))$

 — це «втрати». Якщо

$(x^{\ast },u^{\ast })$

 — це оптимальна пара векторів дій та станів, то

$V(t_0,x_0)=J(t_0,x_0;u^{\ast })$

. Функція

$h$

, яка повертає оптимальний вектор дій

$u^{\ast }$

для стану

$x$

називається функцією стратегії.

Принцип оптимальності Беллмана стверджує, що будь-яка оптимальна стратегія в часі $t$, $t_0⩽t⩽t_1$ приймаючи поточний стан $x(t)$ за «новий» початковий стан буде оптимальною і для решти задачі. Якщо функція цінності є безперервно диференційованою, то вона зводиться до диференціального рівняння в частинних похідних, відомого як рівняння Гамільтона–Якобі–Беллмана,

$-\frac{\partial V(t,x)}{\partial t}=\underset{u}{\max }\{I(t,x,u)+\frac{\partial V(t,x)}{\partial x}f(t,x,u)\}$

де максимум у правій частині також можна переписати як Шаблон:Не перекладено,

$H(t,x,u,\lambda )=I(t,x,u)+\lambda (t)f(t,x,u)$, як

$-\frac{\partial V(t,x)}{\partial t}=\underset{u}{\max }H(t,x,u,\lambda )$

з $\partial V(t,x)/\partial x=\lambda (t)$ відіграють роль Шаблон:Нп. Враховуючи це, маємо $\mathrm{d}\lambda (t)/\mathrm{d}t={\partial }^{2}V(t,x)/\partial x\partial t+{\partial }^{2}V(t,x)/\partial x^2\cdot f(x)$, і після диференціювання обох сторін рівняння Гамільтона–Якобі–Беллмана відносно $x$ рівняння має вигляд

$-\frac{{\partial }^{2}V(t,x)}{\partial t\partial x}=\frac{\partial I}{\partial x}+\frac{{\partial }^{2}V(t,x)}{\partial x^2}f(x)+\frac{\partial V(t,x)}{\partial x}\frac{\partial f(x)}{\partial x}$

яке після заміни відповідних членів відновлює Шаблон:Не перекладено

$-\dot{\lambda }(t)=\underset{=\frac{\partial H}{\partial x}}{\underbrace{\frac{\partial I}{\partial x}+\lambda (t)\frac{\partial f(x)}{\partial x}}}$

де $\dot{\lambda }(t)$ це нотація Ньютона для похідної за часом.

Функція цінності є унікальним Шаблон:Не перекладено рівняння Гамільтона–Якобі–Беллмана. У замкненій онлайн системі з наближено-оптимальним управлінням функція цінності також є функцією Ляпунова, яка встановлює глобальну асимптотичну стійкість замкнутої системи.

Подальше читання

• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book