Нерівність Єнсена

Нерівність Єнсена — зв'язує визначений інтеграл опуклої функції та значення цієї функції від інтеграла. Вона була доведена данським математиком Йоганом Єнсеном у 1906 році.

Нерівність Єнсена узагальнює твердження, що січна лінія опуклої функції лежить над її графіком.

Файл:Convex 01.ogv

Враховуючи свою загальність, нерівність проявляється у багатьох формах залежно від контексту, деякі з яких представлені нижче. У найпростішому випадку нерівність стверджує, що значення опуклого перетворення є меншим або дорівнює значенню отриманого після опуклого перетворення; це простий наслідок того, що обернене твердження вірне щодо перетворень увігнутих функцій.

Нерівність Єнсена узагальнює твердження, що січна опуклої функції лежить над графіком функції (нерівність Єнсена для двох точок): січна лінія утворюється ваговими середніми значеннями опуклої функції (для $t\in [0,1]$),

$tf(x_1)+(1-t)f(x_2),$

у той час як графік функції є опуклою функцією зважених середніх значень

$f(t{x}_1+(1-t)x_2).$

Отже, нерівність Єнсена має вигляд

$f(t{x}_1+(1-t)x_2)\le tf(x_1)+(1-t)f(x_2).$

У контексті теорії ймовірності нерівність як правило подається у наступному вигляді: якщо $X$ — випадкова величина, а $\phi$ — опукла функція, то

$\phi (\mathrm{E}[X])\le \mathrm{E}[\phi (X)].$

Різниця між двома частинами нерівності,

$\mathrm{E}[\phi (X)]-\phi (\mathrm{E}[X])$

називається проміжком Єнсена .

Формулювання

Класична форма нерівності Єнсена включає декілька чисел і вагових коефіцієнтів. Нерівність можна сформулювати у досить загальному вигляді, використовуючи або мову теорії міри, або (що еквівалентно) теорії ймовірності. У термінах теорії ймовірності нерівність можна узагальнити далі.

Дискретний випадок

Для дійсної опуклої функції φ, та чисел $x_1,x_2,\dots ,x_n$ з її області визначення та додатних чисел a_i, справджується:

$\phi \left(\frac{\sum a_i{x}_i}{\sum a_i}\right)\le \frac{\sum a_i\phi (x_i)}{\sum a_i};$

нерівність міняє знак, коли φ — угнута функція:

$\phi \left(\frac{\sum a_i{x}_i}{\sum a_i}\right)\ge \frac{\sum a_i\phi (x_i)}{\sum a_i}.$

Рівність виконується тоді і тільки тоді, коли $x_1=x_2=\dots =x_n$ або $\phi$ є лінійною на її області визначення, що містить $x_1,x_2,\dots ,x_n$. Частковим випадком є

$\phi \left(\frac{\sum x_i}{n}\right)\le \frac{\sum \phi (x_i)}{n}.$

Позначивши ${\lambda }_i=\frac{a_i}{\sum _{i=1}^n{a}_i}$ отримаємо еквівалентне формулювання:

$f\left(\sum _{i=1}^n{\lambda }_i{x}_i\right)⩽\sum _{i=1}^n{\lambda }_{i}f(x_i),$

де

${\lambda }_1+{\lambda }_2+\dots +{\lambda }_n=1.$

За допомогою нерівності Єнсена в даному вигляді можна довести:

• Нерівність Коші,
• Нерівності про середнє.

Інтегральне та ймовірнісне формулювання

Нехай $(\mathrm{\Omega },A,\mu )$ — ймовірнісний простір, тобто $\mu (\mathrm{\Omega })=1$. Якщо $g$ — дійснозначна функція, яка є $\mu$ — інтегровною, $\phi$ — опукла функція на дійсній прямій, тоді

$\phi \left(\underset{\mathrm{\Omega }}{\int }g\mathrm{d}\mu \right)\le \underset{\mathrm{\Omega }}{\int }\phi \circ g\mathrm{d}\mu .$

У аналізі функцій однієї змінної може знадобитися оцінка для

$\phi (\underset{a}{\overset{b}{\int }}f(x)\mathrm{d}x),$

де $a,b\in ℝ$ та $f:[a,b]\to ℝ$ — невід'ємна функція, яка інтегровна за Лебегом. У цьому випадку міра Лебега відрізка $[a,b]$ не обов'язково має дорівнювати одиниці. Однак, за допомогою інтегрування з використанням заміни змінних, інтервал може бути відмасштабований так, що міра дорівнюватиме одиниці. Тоді можна застосувати нерівність Єнсена і отримаємо

$\phi (\frac{1}{b-a}\underset{a}{\overset{b}{\int }}f(x)\mathrm{d}x)\le \frac{1}{b-a}\underset{a}{\overset{b}{\int }}\phi (f(x))\mathrm{d}x.$

Аналогічний результат можна сформулювати у термінах теорії ймовірності за допомогою простої зміни позначень. Нехай $(\mathrm{\Omega },𝔉,P)$ — ймовірністний простір, $X$ — інтегровна дійснозначна випадкова величина, а $\phi$ — опукла функція. Тоді

$\phi (\mathrm{E}[X])\le \mathrm{E}[\phi (X)].$

У цьому ймовірнісному формулюванні міра $\mu$ визначається як ймовірність $P$, інтеграл відносно $\mu$ як математичне сподівання $E$, а функція $g$ як випадкова величина $X$.

Зауважимо, що рівність буде мати місце тоді і лише тоді, коли $\phi$ є лінійною функцією на деякій множині $A$ такій, що $P(X\in A)=1$ (це випливає з наведеного нижче інтегрального доведення).

Загальна нерівність в ймовірнісному формулюванні

Більш загально, нехай $T$ — дійсний топологічний векторний простір, $X$ — $T$-значна інтегровна випадкова величина. У цих загальних умовах інтегровний означає, що в просторі $T$ існує елемент $E[X]$, такий, що для будь-якого елемента $z$ із спряженого простору до простору $T$: $\mathrm{E}|⟨z,X⟩|<\mathrm{\infty }/$ та $⟨z,\mathrm{E}[X]⟩=\mathrm{E}[⟨z,X⟩]$. Тоді для будь-якої вимірної опуклої функції $\phi$ та під-$\sigma$-алгебри $𝔊$ у $\sigma$-алгебрі $𝔉$:

$\phi (\mathrm{E}[X\mid 𝔊])\le \mathrm{E}[\phi (X)\mid 𝔊].$

Тут $\mathrm{E}[\cdot \mid 𝔊]$ є умовним математичним сподіванням відносно $\sigma$-алгебри $𝔊$. Це загальне твердження зводиться до попередніх, якщо топологічний векторний простір $T$ є дійсною віссю, а $𝔊$ є тривіальною $\sigma$-алгеброю $\{\varnothing ,\mathrm{\Omega }\}$ (де $\varnothing$ — порожня множина}, а $\mathrm{\Omega }$ — простір елементарних подій).

Уточнена та узагальнена форма

Нехай $X$ — одновимірна випадкова величина із математичним сподіванням $\mu$ та дисперсією ${\sigma }^2\ge 0$. Нехай $\phi (x)$ — двічі диференційована функція, визначимо функцію

$h(x)\triangleq \frac{\phi (x)-\phi \left(\mu \right)}{(x-\mu {)}^2}-\frac{{\phi }^{\prime }(\mu )}{x-\mu }.$

Тоді

$\begin{array}{cc}{\sigma }^2\inf \frac{{\phi }^{″}(x)}{2}& \le {\sigma }^2\inf h(x)\le E[\phi (X)]-\phi (\mathrm{E}[X])\le \\ & \le {\sigma }^2\sup h(x)\le {\sigma }^2\sup \frac{{\phi }^{″}(x)}{2}.\end{array}$

Зокрема, якщо $\phi (x)$ — опукла функція, то ${\phi }^{″}(x)\ge 0$ і стандартний вигляд нерівності Єнсена безпосередньо випливає, якщо додатково вважати функцію $\phi (x)$ двічі диференційованою.

Доведення

Графічне доведення нерівності Єнсена для ймовірнісного випадку. Пунктирна крива вздовж осі $X$ є гіпотетичним розподілом $X$, тоді як пунктирна крива вздовж осі $Y$ є відповідним розподілом значень $Y$. Зауважимо, що опукле відображення $Y(X)$ дедалі більше ``розтягує розподіл для збільшення значень $X$.

Доведення нерівності Єнсена для $n$ змінних без слів. Без втрати загальності вважаємо, що сума додатних вагових коефіцієнтів дорівнює 1. Звідси випливає, що вагома точка знаходиться в опуклій оболонці вихідних точок, яка лежить над самою функцією за означенням опуклості. Звідси випливає відповідне твердження.

Нерівність Єнсена можна довести декількома способами, і нижче буде запропоновано три різні доведення, що відповідають вищезазначеним твердженням. Однак перед тим як приступати до цих математичних доведень варто проаналізувати інтуїтивно зрозумілий графічний аргумент на основі ймовірнісного випадку, де $X$ є дійсним числом (див. рисунок). Припускаючи гіпотетичний розподіл значень $X$, можна одразу визначити положення математичного сподівання $\mathrm{E}[X]$ та його образу $\phi (\mathrm{E}[X])$ на графіку. Враховуючи, що для опуклих відображень $Y=\phi (X)$ відповідний розподіл значень $Y$ є зростаючим і розтягується при зростаючих значеннях $X$, легко зрозуміти, що розподіл $Y$ є ширшим в інтервалі, що відповідає $X>X_0$ і вужчим при $X<X_0$ для будь-якого $X_0$. Зокрема, це також справедливо для $X_0=\mathrm{E}[X]$.

Отже, на цьому рисунку математичне сподівання для $Y$ завжди зміщуватиметься вгору по відношенню до положення $\phi (\mathrm{E}[X])$. А налогічне міркування справедливе, якщо розподіл $X$ охоплює спадну частину опуклої функції, або одночасно спадну і зростаючу його частини. Це доводить нерівність, тобто

$\phi (\mathrm{E}[X])\le \mathrm{E}[\phi (X)]=\mathrm{E}[Y],$

яка перетворюється у рівність, якщо $\phi (X)$ не є строго опуклою функцією, наприклад, якщо вона є прямою, або, якщо $X$ має вироджений розподіл (тобто є константою).

Наведені нижче доведення формалізують це інтуїтивне поняття.

Доведення 1 (дискретна форма)

Якщо ${\lambda }_1$ і ${\lambda }_2$ — два довільні невід'ємні дійсні числа такі, що ${\lambda }_1+{\lambda }_2=1$, то з опуклості $\phi$ випливає

$\mathrm{\forall }{x}_1,x_2:\phi ({\lambda }_1{x}_1+{\lambda }_2{x}_2)\le {\lambda }_1\phi (x_1)+{\lambda }_2\phi (x_2).$

Цю нерівність можна легко узагальнити: якщо ${\lambda }_1,\dots ,{\lambda }_n$ — невід'ємні дійсні числа такі, що ${\lambda }_1+\dots +{\lambda }_n=1$, тоді

$\phi ({\lambda }_1{x}_1+{\lambda }_2{x}_2+\cdots +{\lambda }_n{x}_n)\le {\lambda }_1\phi (x_1)+{\lambda }_2\phi (x_2)+\cdots +{\lambda }_n\phi (x_n)$

для будь-яких $x_1,\dots ,x_n$. Цю скінченну форму нерівності Єнсена можна довести за допомогою методу математичної індукції: за припущення опуклості твердження справедливе для $n=2$. Припустимо, що воно справедливе і для деякого $n$, потрібно довести нерівність для $n+1$. Щонайменше одне з ${\lambda }_i$ є додатним і строго меншим 1, нехай ${\lambda }_1$; тоді з означення опуклості:

$\begin{array}{cc}\phi \left(\sum _{i=1}^{n+1}{\lambda }_i{x}_i\right)& =\phi ({\lambda }_1{x}_1+(1-{\lambda }_1)\sum _{i=2}^{n+1}\frac{{\lambda }_i}{1-{\lambda }_1}{x}_i)\\ & \le {\lambda }_1\phi (x_1)+(1-{\lambda }_1)\phi \left(\sum _{i=2}^{n+1}\frac{{\lambda }_i}{1-{\lambda }_1}{x}_i\right).\end{array}$

Оскільки

$\sum _{i=2}^{n+1}\frac{{\lambda }_i}{1-{\lambda }_1}=1,$

то можна застосувати індукційні гіпотези до останнього члена в попередній формулі для того, щоб отримати результат, а саме кінцеву форму нерівності Єнсена.

Для того, щоб отримати загальну нерівність з цієї кінцевої форми, необхідно використовувати аргумент щільності. Скінченну форму можна переписати як

$\phi (\int x\mathrm{d}{\mu }_n(x))\le \int \phi (x)\mathrm{d}{\mu }_n(x),$

де ${\mu }_n$ — міра, що задається довільною опуклою комбінацією дельта-функцій Дірака:

${\mu }_n=\sum _{i=1}^n{\lambda }_i{\delta }_{x_i}.$

Оскільки опуклі функції є неперервними, й опуклі комбінації дельта-функцій Дірака є слабко щільними в множині ймовірнісних мір (що можна легко перевірити), то загальне твердження отримується легко за допомогою граничного переходу.

Доведення 2 (інтегральне формулювання)

Нехай $g$ — дійснозначна $\mu$-інтегровна функція у ймовірностному просторі $\mathrm{\Omega }$, а $\phi$ — опукла дійснозначна функція. Оскільки $\phi$ опукла, то для кожного дійсного значення $x$ маємо непусту множину субдиференціалів, які можна розглядати як лінії, що дотикаються до графіка функції $\phi$ в точці $x$, але які знаходяться над графіком функції $\phi$ або нижче нього у всіх точках (опорні лінії графіка).

Тепер, якщо визначимо

$x_0:=\underset{\mathrm{\Omega }}{\int }g\mathrm{d}\mu ,$

то внаслідок існування субдиференціалів для опуклих функцій можемо вибрати $a$ та $b$ такі, що

$ax+b\le \phi (x)$

для всіх дійсних $x$ і $a{x}_0+b=\phi (x_0).$ Але тоді маємо, що $\phi \circ g(x)\ge ag(x)+b$ для всіх $x$. Оскільки маємо ймовірнісну міру, то інтеграл є монотонним з $\mu (\mathrm{\Omega })=1$, так що

$\begin{array}{cc}\underset{\mathrm{\Omega }}{\int }\phi \circ g\mathrm{d}\mu & \ge \underset{\mathrm{\Omega }}{\int }(ag+b)\mathrm{d}\mu =\\ & =a\underset{\mathrm{\Omega }}{\int }g\mathrm{d}\mu +b\underset{\mathrm{\Omega }}{\int }\mathrm{d}\mu =\\ & =a{x}_0+b=\phi (x_0)=\phi \left(\underset{\mathrm{\Omega }}{\int }g\mathrm{d}\mu \right),\end{array}$

що й треба було довести.

Зауваження

Якщо функція $f(x)$ угнута (опукла догори), то знак в нерівності змінюється на протилежний.

Джерела

• Шаблон:Фіхтенгольц.укр