Інформація за Фішером

Шаблон:Короткий опис У математичній статистиці інформа́ція за Фі́шером (Шаблон:Lang-en, іноді звана просто інформа́цією, Шаблон:Lang-enШаблон:Sfnp) — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина X несе про невідомий параметр θ розподілу, який моделює X. Формально це дисперсія внеску, або математичне сподівання Шаблон:Li.

Роль інформації за Фішером в асимптотичній теорії оцінювання максимальною правдоподібністю підкреслив і дослідив статистик сер Рональд Фішер (після деяких початкових результатів Френсіса Ісидро Еджворта). Інформаційну матрицю за Фішером використовують для обчислення коваріаційних матриць, пов'язаних із оцінюванням максимальною правдоподібністю. Також її використовують у формулюванні статистичних критеріїв, як-от Шаблон:Li.

У баєсовій статистиці інформація за Фішером відіграє роль у виведенні неінформативних апріорних розподілів за Шаблон:Li. Вона також з'являється як великови́біркова коваріація апостеріорного розподілу, за умови, що апріорний розподіл є достатньо гладеньким (результат, відомий як Шаблон:Li, передбачена Лапласом для Шаблон:Li). Той же результат використовують при наближуванні апостеріорного розподілу за допомогою Шаблон:Li, де інформація за Фішером виступає як коваріація допасовуваного гауссового розподілу.

Було показано, що статистичні системи наукового характеру (фізичні, біологічні тощо), чиї функції правдоподібності дотримуються Шаблон:Li, показують максимум інформації за Фішером.Шаблон:Sfnp Рівень цього максимуму залежить від характеру обмежень системи.

Визначення

Інформація за Фішером — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина $X$ несе про невідомий параметр $\theta$, від якого залежить імовірність $X$. Нехай $f(X;\theta )$ — функція густини імовірності (або функція маси імовірності) для $X$, обумовлена значенням $\theta$. Вона описує ймовірність спостерігання заданого результату $X$ за умови відомого значення $\theta$. Якщо $f$ дає гострий пік відносно змін $\theta$, то вказати «правильне» значення $\theta$ з даних легко, або, іншими словами, дані $X$ містять багато інформації про параметр $\theta$. Якщо ж $f$ пло́ска й розсіяна, тоді потрібно багато зразків $X$, щоб оцінити справжнє «істинне» значення $\theta$, яке могло би бути отримане з використанням усієї сукупності, з якої роблять вибірку. Це вказує на необхідність вивчення певного виду дисперсії відносно $\theta$.

Формально частинну похідну за $\theta$ натурального логарифму функції правдоподібності називають внеском (Шаблон:Lang-en). За певних умов регулярності, якщо $\theta$ — істинний параметр (тобто $X$ справді розподілено як $f(X;\theta )$), можливо показати, що математичне сподівання (перший момент) внеску, обчислене за істинного значення параметра $\theta$, дорівнює 0:

$\begin{array}{cc}\mathrm{E}\left[\frac{\partial }{\partial \theta }\log f(X;\theta )|\theta \right]=& \underset{ℝ}{\int }\frac{\frac{\partial }{\partial \theta }f(x;\theta )}{f(x;\theta )}f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }\underset{ℝ}{\int }f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }1\\ =& 0.\end{array}$

Інформацію за Фішером визначають як дисперсію внеску:Шаблон:Sfnp

$ℐ(\theta )=\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2|\theta \right]=\underset{ℝ}{\int }{(\frac{\partial }{\partial \theta }\log f(x;\theta ))}^{2}f(x;\theta )dx,$

зауважте, що $ℐ(\theta )\ge 0$. Випадкова величина, що несе високу інформацію за Фішером, вказує на те, що абсолютне значення внеску часто високе. Інформація за Фішером не є функцією конкретного спостереження, оскільки випадкову величину X було усереднено.

Якщо Шаблон:Nowrap двічі диференційовний за θ, і за певних умов регулярності, то інформацію за Фішером також можна записати якШаблон:Sfnp

$ℐ(\theta )=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )|\theta \right],$

оскільки

$\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{\left(\frac{\frac{\partial }{\partial \theta }f(X;\theta )}{f(X;\theta )}\right)}^2=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2$

і

$\mathrm{E}\left[\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}|\theta \right]=\frac{{\partial }^2}{\partial {\theta }^2}\underset{ℝ}{\int }f(x;\theta )dx=0.$

Отже, інформацію за Фішером можна розглядати як кривину Шаблон:Li (Шаблон:Lang-en, графіка логарифмічної правдоподібності). Поруч із оцінкою максимальною правдоподібністю, низька інформація за Фішером вказує на те, що максимум виглядає «тупим», тобто максимум неглибокий і багато сусідніх значень мають схожу логарифмічну правдоподібність. І, навпаки, висока інформація за Фішером вказує на те, що максимум гострий.

Умови регулярності

Умови регулярності такі:

1. Частинна похідна f(X; θ) за θ існує майже скрізь. (Вона може не існувати на нульовій множині, за умови, що ця множина не залежить від θ.)
2. Інтеграл f(X; θ) можливо диференціювати під знаком інтеграла за θ.
3. Носій f(X; θ) не залежить від θ.

Якщо θ — вектор, то умови регулярності мусять виконуватися для кожного компонента θ. Приклад густини, яка не задовольняє умови регулярності, знайти легко: густина рівномірної змінної Uniform(0, θ) не виконує умов 1 та 3. У цьому випадку, незважаючи на можливість обчислення інформації за Фішером за визначенням, вона не матиме властивостей, які зазвичай передбачаються.

В термінах правдоподібності

Оскільки правдоподібність θ для заданої X завжди пропорційна ймовірності f(X; θ), їхні логарифми обов'язково відрізняються на сталу, яка не залежить від θ, а похідні цих логарифмів за θ обов'язково рівні. Таким чином, до визначення інформації за Фішером замість Шаблон:Math можливо підставити функцію логарифмічної правдоподібності l(θ; X).

Вибірки будь-якого розміру

Значення X може подавати як один зразок, вибраний з одного розподілу, так і набір зразків, вибраних з набору розподілів. Якщо є n зразків, і відповідні n розподілів статистично незалежні, то інформація за Фішером обов'язково буде сумою значень інформації за Фішером для кожного окремого зразка з його розподілу. Зокрема, якщо ці n розподілів незалежні й однаково розподілені, то інформація за Фішером обов'язково становитиме n разів інформації за Фішером для одного зразка з загального розподілу. Іншими словами, інформація за Фішером н. о. р. спостережень вибірки розміру n із сукупності дорівнює добуткові n на інформацію за Фішером для одного спостереження з цієї ж сукупності.

Неформальний вивід межі Крамера — Рао

Нерівність Крамера — РаоШаблон:SfnpШаблон:Sfnp стверджує, що обернена величина інформації за Фішером є нижньою межею дисперсії будь-якого незміщеного оцінювача θ. Шаблон:Harvtxt та Шаблон:Harvtxt пропонують наступний метод виведення межі Крамера — Рао, результат, який описує застосування інформації за Фішером.

Неформально, почнімо з розгляду незміщеного оцінювача $\hat{\theta }(X)$. Математично «незміщеність» означає, що

$\mathrm{E}\left[\hat{\theta }(X)-\theta |\theta \right]=\int (\hat{\theta }(x)-\theta )f(x;\theta )dx=0$ незалежно від значення $\theta .$

Цей вираз нульовий незалежно від θ, тож його частинна похідна за θ також мусить бути нульовою. За правилом добутку ця частинна похідна також дорівнює

$0=\frac{\partial }{\partial \theta }\int (\hat{\theta }(x)-\theta )f(x;\theta )dx=\int (\hat{\theta }(x)-\theta )\frac{\partial f}{\partial \theta }dx-\int fdx.$

Для кожного значення θ функція правдоподібності є функцією густини ймовірності, отже, $\int fdx=1$. Використовуючи ланцюгове правило для частинної похідної $\log f$, а потім ділячи й множачи на $f(x;\theta )$, можливо перевірити, що

$\frac{\partial f}{\partial \theta }=f\frac{\partial \log f}{\partial \theta }.$

Використовуючи ці два факти в наведеному вище виразі, отримуємо

$\int (\hat{\theta }-\theta )f\frac{\partial \log f}{\partial \theta }dx=1.$

Розкладання підінтегрального виразу на множники дає

$\int \left((\hat{\theta }-\theta )\sqrt{f}\right)\left(\sqrt{f}\frac{\partial \log f}{\partial \theta }\right)dx=1.$

При піднесенні виразу в інтегралі до квадрату нерівність Коші — Буняковського дає

$1=(\int \left[(\hat{\theta }-\theta )\sqrt{f}\right]\cdot \left[\sqrt{f}\frac{\partial \log f}{\partial \theta }\right]dx{)}^2\le [\int {(\hat{\theta }-\theta )}^{2}fdx]\cdot [\int {\left(\frac{\partial \log f}{\partial \theta }\right)}^{2}fdx].$

Другий множник у дужках визначається як інформація за Фішером, а перший множник є середньоквадратичною похибкою оцінювача $\hat{\theta }$. За перетворення, ця нерівність каже нам, що

$\mathrm{Var}\left(\hat{\theta }\right)\ge \frac{1}{ℐ\left(\theta \right)}.$

Іншими словами, точність можливої оцінки параметра θ принципово обмежена інформацією за Фішером функції правдоподібності.

Іншим чином той же висновок можливо отримати безпосередньо з Шаблон:Li $|\mathrm{Cov}(A,B){|}^2\le \mathrm{Var}(A)\mathrm{Var}(B)$, застосувавши її до випадкових величин $\hat{\theta }(X)$ та ${\partial }_{\theta }\log f(X;\theta )$, і побачивши, що для незміщених оцінювачів маємо$$\mathrm{Cov}[\hat{\theta }(X),{\partial }_{\theta }\log f(X;\theta )]=\int \hat{\theta }(x){\partial }_{\theta }f(x;\theta )dx={\partial }_{\theta }\mathrm{E}[\hat{\theta }]=1.$$

Приклади

Однопараметровий експеримент Бернуллі

Проба Бернуллі — це випадкова величина з двома можливими результатами: 0 та 1, де 1 має ймовірність θ. Цей результат можливо розглядати як підкидання несиметричної монети, де ймовірність випадіння аверса (1) дорівнює θ, а ймовірність випадіння реверса (0) — Шаблон:Nowrap.

Нехай X — проба Бернуллі однієї вибірки з розподілу. Інформацію за Фішером, яка міститься в X, можна обчислити як

$\begin{array}{cc}ℐ(\theta )& =-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log ({\theta }^X(1-\theta {)}^{1-X})|\theta \right]\\ & =-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}(X\log \theta +(1-X)\log (1-\theta ))|\theta \right]\\ & =\mathrm{E}\left[\frac{X}{{\theta }^2}+\frac{1-X}{(1-\theta {)}^2}|\theta \right]\\ & =\frac{\theta }{{\theta }^2}+\frac{1-\theta }{(1-\theta {)}^2}\\ & =\frac{1}{\theta (1-\theta )}.\end{array}$

Оскільки інформація за Фішером адитивна, інформація за Фішером для n незалежних випробувань Бернуллі становить

$ℐ(\theta )=\frac{n}{\theta (1-\theta )}.$

Якщо $x_i$ — один з $2^n$ можливих результатів n незалежних випробувань Бернуллі, а $x_{ij}$ — j-й результат i-го випробування, то ймовірність $x_i$ задається як

$p(x_i,\theta )=\prod _{j=0}^n{\theta }^{x_{ij}}(1-\theta {)}^{x_{ij}}$

Середнє значення i-го випробування становить ${\mu }_i=(1/n)\sum _{j=1}^n{x}_{ij}$ Математичне сподівання середнього значення випробування:

$E(\mu )=\sum _{x_i}{\mu }_{i}p(x_i,\theta )=\theta$

де сума береться по всіх $2^n$ можливих результатах випробувань. Математичне сподівання квадрата середнього:

$E({\mu }^2)=\sum _{x_i}{\mu }_i^{2}p(x_i,\theta )=\frac{(1+(n-1)\theta )\theta }{n}$

тож дисперсія значення середнього становить

$E({\mu }^2)-E(\mu {)}^2=(1/n)\theta (1-\theta )$

Видно, що інформація за Фішером є оберненою величиною дисперсії середнього числа успіхів у n випробуваннях Бернуллі. Це правило є загальним. У цьому випадку нерівність Крамера — Рао є рівністю.

Оцінка θ за X ∼ Bern (√θ)

Як інший модельний приклад розгляньмо випадкову величину $X$ з можливими результатами 0 та 1 з імовірностями $p_0=1-\sqrt{\theta }$ та $p_1=\sqrt{\theta }$ відповідно, для деякого $\theta \in [0,1]$. Наша мета — оцінити $\theta$ зі спостережень $X$.

Інформація за Фішером для цього випадку виглядає як$$\begin{array}{cc}ℐ(\theta )& =\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2\right|\theta ]\\ & =(1-\sqrt{\theta }){\left(\frac{-1}{2\sqrt{\theta }(1-\sqrt{\theta })}\right)}^2+\sqrt{\theta }{\left(\frac{1}{2\theta }\right)}^2\\ & =\frac{1}{4\theta }(\frac{1}{1-\sqrt{\theta }}+\frac{1}{\sqrt{\theta }})\end{array}.$$Цей вираз також можливо вивести безпосередньо перепараметруванням наведеної нижче формули. Загальніше, для будь-якої достатньо регулярної функції $f$, такої, що $f(\theta )\in [0,1]$, інформація за Фішером для оцінки $\theta$ за $X\sim \mathrm{Bern}(f(\theta ))$ обчислюється аналогічно:$$ℐ(\theta )=f^{\prime }(\theta {)}^2(\frac{1}{1-f(\theta )}+\frac{1}{f(\theta )}).$$

Матричний вигляд

Коли параметрів N, тобто θ — вектор Шаблон:Nowrap, $\theta ={\left[\begin{array}{cccc}{\theta }_1& {\theta }_2& \dots & {\theta }_N\end{array}\right]}^{\mathsf{\text{T}}},$ тоді інформація за Фішером набуває вигляду матриці Шаблон:Nowrap. Цю матрицю називають інформаці́йною ма́трицею за Фі́шером (ІМФ, Шаблон:Lang-en), і її типовий елемент

$[ℐ(\theta ){]}_{i,j}=\mathrm{E}\left[(\frac{\partial }{\partial {\theta }_i}\log f(X;\theta ))(\frac{\partial }{\partial {\theta }_j}\log f(X;\theta ))|\theta \right].$

ІМФ — додатно напіввизначена матриця Шаблон:Nowrap. Якщо вона додатно визначена, то вона визначає ріманову метрику на N-вимірному Шаблон:Li. Галузь Шаблон:Li використовує це для поєднання інформації за Фішером з диференціальною геометрією, і в цьому контексті ця метрика відома як Шаблон:Li.

За певних умов регулярності інформаційну матрицю за Фішером можна також записати як

$[ℐ(\theta ){]}_{i,j}=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X;\theta )|\theta \right].$

Цей результат цікавий з кількох причин:

• Його можливо вивести як матрицю Гессе відносної ентропії.
• Його можливо використовувати як ріманову метрику для визначення геометрії Фішера — Рао, коли він додатно визначений.
• Його можливо розуміти як метрику, індуковану з евклідової метрики, після відповідної заміни змінної.
• У комплекснозначному вигляді це метрика Фубіні — Штуді.
• Він є ключовою частиною доведення теореми Уїлкса, яка дозволяє оцінювати довірчі області для оцінювання максимальною правдоподібністю (для тих умов, для яких це застосовно), не потребуючи принципу правдоподібності.
• У випадках, коли наведені вище аналітичні обчислення ІМФ складні, можливо робити усереднення простих оцінок Монте-Карло матриці Гессе від'ємної функції логарифмічної правдоподібності як оцінку ІМФ. Ці оцінки можуть ґрунтуватися на значеннях від'ємної функції логарифмічної правдоподібності або її градієнті; аналітичне обчислення матриці Гессе від'ємної функції логарифмічної правдоподібності не потрібне.

Інформаційно ортогональні параметри

Кажуть, що два вектори компонент параметрів θ₁ та θ₂ інформаційно ортогональні (Шаблон:Lang-en), якщо інформаційна матриця за Фішером блочно-діагональна з цими компонентами в окремих блоках. Ортогональні параметри зручні тим, що їхні оцінки максимальною правдоподібністю асимптотично некорельовані. Коли йдеться про аналіз статистичної моделі, варто витратити певний час на пошук ортогонального параметрування моделі, особливо коли цільовий параметр одновимірний, але завадний параметр може мати будь-яку вимірність.

Сингулярна статистична модель

Шаблон:See also Якщо інформаційна матриця за Фішером додатно визначена для всіх значень Шаблон:Mvar, то відповідну статистичну модель називають регулярною (Шаблон:Lang-en); інакше модель називають сингулярною (Шаблон:Lang-en). До прикладів сингулярних статистичних моделей належать: гауссові Шаблон:Li, біноміальні суміші, багатовимірні суміші, баєсові мережі, нейронні мережі, радіальні базисні функції, приховані марковські моделі, Шаблон:Li, регресії зі зменшеним рангом (Шаблон:Lang-en), машини Больцмана.

У машинному навчанні, якщо статистичну модель розроблено так, що вона витягує приховану структуру з випадкового явища, то вона природно стає сингулярною.

Багатовимірний нормальний розподіл

ІМФ для N-вимірного багатовимірного нормального розподілу $X\sim N(\mu (\theta ),\mathrm{\Sigma }(\theta ))$ має особливий вигляд. Нехай K-вимірний вектор параметрів це $\theta ={\left[\begin{array}{ccc}{\theta }_1& \dots & {\theta }_K\end{array}\right]}^{\mathsf{\text{T}}}$, а вектор випадкових нормальних величин це $X={\left[\begin{array}{ccc}{X}_1& \dots & X_N\end{array}\right]}^{\mathsf{\text{T}}}$. Припустімо, що середні значення цих випадкових величин це $\mu (\theta )={\left[\begin{array}{ccc}{\mu }_1(\theta )& \dots & {\mu }_N(\theta )\end{array}\right]}^{\mathsf{\text{T}}}$, а $\mathrm{\Sigma }(\theta )$ — коваріаційна матриця. Тоді, для $1\le m,n\le K$, елемент (m, n) ІМФ дорівнює:

${ℐ}_{m,n}=\frac{\partial {\mu }^{\mathsf{\text{T}}}}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mu }{\partial {\theta }_n}+\frac{1}{2}\mathrm{tr}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_n}\right),$

де $(\cdot {)}^{\mathsf{\text{T}}}$ позначує транспонування вектора, $\mathrm{tr}(\cdot )$ позначує слід квадратної матриці, а

$\begin{array}{cc}\frac{\partial \mu }{\partial {\theta }_m}& ={\left[\begin{array}{cccc}\frac{\partial {\mu }_1}{\partial {\theta }_m}& \frac{\partial {\mu }_2}{\partial {\theta }_m}& \cdots & \frac{\partial {\mu }_N}{\partial {\theta }_m}\end{array}\right]}^{\mathsf{\text{T}}};\\ \frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}& =\left[\begin{array}{cccc}\frac{\partial {\mathrm{\Sigma }}_{1,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{1,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{1,N}}{\partial {\theta }_m}\\ \frac{\partial {\mathrm{\Sigma }}_{2,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{2,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{2,N}}{\partial {\theta }_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial {\mathrm{\Sigma }}_{N,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{N,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{N,N}}{\partial {\theta }_m}\end{array}\right].\end{array}$

Зауважте, що особливим, але дуже поширеним випадком є такий, коли $\mathrm{\Sigma }(\theta )=\mathrm{\Sigma }$, стала. Тоді

${ℐ}_{m,n}=\frac{\partial {\mu }^{\mathsf{\text{T}}}}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mu }{\partial {\theta }_n}.$

У цьому випадку інформаційну матрицю за Фішером можна ототожнити з матрицею коефіцієнтів Шаблон:Li теорії найменших квадратів.

Інший особливий випадок виникає, коли середнє та коваріація залежать від двох різних векторних параметрів, скажімо, β та θ. Це особливо популярне в аналізі просторових даних, де часто використовують лінійну модель з корельованими залишками. У такому випадку

$ℐ(\beta ,\theta )=\mathrm{diag}(ℐ(\beta ),ℐ(\theta ))$

де

$\begin{array}{cc}ℐ(\beta {)}_{m,n}& =\frac{\partial {\mu }^{\mathsf{\text{T}}}}{\partial {\beta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mu }{\partial {\beta }_n},\\ ℐ(\theta {)}_{m,n}& =\frac{1}{2}\mathrm{tr}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_n}\right)\end{array}$

Властивості

Ланцюгове правило

Подібно до ентропії та взаємної інформації, інформація за Фішером також має розклад за ланцюго́вим пра́вилом (Шаблон:Lang-en). Зокрема, якщо X та Y — спільно розподілені випадкові величини, то має місце наступне:

${ℐ}_{X,Y}(\theta )={ℐ}_X(\theta )+{ℐ}_{Y\mid X}(\theta ),$

де ${ℐ}_{Y\mid X}(\theta )={\mathrm{E}}_X[{ℐ}_{Y\mid X=x}(\theta )]$, а ${ℐ}_{Y\mid X=x}(\theta )$ — це інформація за Фішером Y щодо $\theta$, обчислена за умовною густиною Y за заданого значення X = x.

Як окремий випадок, якщо дві випадкові величини незалежні, то інформація, яку вони дають, є сумою інформації від кожної з випадкових величин окремо:

${ℐ}_{X,Y}(\theta )={ℐ}_X(\theta )+{ℐ}_Y(\theta ).$

Отже, інформація у вибірці з n незалежних однаково розподілених спостережень дорівнює n-кратній інформації для вибірки розміру 1.

f-розходження

Якщо задано опуклу функцію $f:[0,\mathrm{\infty })\to (-\mathrm{\infty },\mathrm{\infty }]$, таку, що $f(x)$ скінченна для всіх $x>0$, $f(1)=0$, а $f(0)=\underset{t\to 0^{+}}{\lim }f(t)$ (яка може бути нескінченною), вона визначає f-розбіжність $D_f$. Якщо $f$ строго опукла в $1$, а потім локально в $\theta \in \mathrm{\Theta }$, інформаційна матриця за Фішером є метрикою, в тому сенсі що$$(\delta \theta {)}^{T}I(\theta )(\delta \theta )=\frac{1}{f^{″}(1)}{D}_f(P_{\theta +\delta \theta }\parallel P_{\theta })$$де $P_{\theta }$ — розподіл, параметрований $\theta$, тобто розподіл з функцією густини ймовірності $f(x;\theta )$.

У такій формі видно, що інформаційна матриця за Фішером є рімановою метрикою і правильно змінюється за зміни змінних. (див. розділ про перепараметрування.)

Достатня статистика

Інформація, яку надає достатня статистика, є такою ж, як і інформація вибірки X. Це можна побачити, використовуючи критерій розкладу Неймана для достатньої статистики. Якщо T(X) достатня для θ, то

$f(X;\theta )=g(T(X),\theta )h(X)$

для деяких функцій g та h. З незалежності h(X) від θ випливає, що

$\frac{\partial }{\partial \theta }\log [f(X;\theta )]=\frac{\partial }{\partial \theta }\log [g(T(X);\theta )],$

а рівність інформації випливає з визначення інформації за Фішером. Загальніше, якщо Шаблон:Nowrap — статистика, то

${ℐ}_T(\theta )\le {ℐ}_X(\theta )$

і рівність виконується тоді й лише тоді, коли T — достатня статистика.

Перепараметрування

Інформація за Фішером залежить від параметрування задачі. Якщо θ та η — два скалярні параметрування задачі оцінювання, і θ — неперервно диференційовна функція від η, то

${ℐ}_{\eta }(\eta )={ℐ}_{\theta }(\theta (\eta )){\left(\frac{d\theta }{d\eta }\right)}^2$

де ${ℐ}_{\eta }$ та ${ℐ}_{\theta }$ — інформаційні міри за Фішером для η та θ відповідно.Шаблон:Sfnp

У випадку векторів, нехай $\mathit{\theta }$ та $\mathit{\eta }$ — k-вектори, які параметрують задачу оцінювання, і нехай $\mathit{\theta }$ — неперервно диференційовна функція від $\mathit{\eta }$, тодіШаблон:Sfnp

${ℐ}_{\mathit{\eta }}(\mathit{\eta })={𝑱}^{\mathsf{\text{T}}}{ℐ}_{\mathit{\theta }}(\mathit{\theta }(\mathit{\eta }))𝑱$

де елемент (i, j) матриці Якобі k × k $𝑱$ визначається як

$J_{ij}=\frac{\partial {\theta }_i}{\partial {\eta }_j},$

і де ${𝑱}^{\mathsf{\text{T}}}$ — транспонована матриця $𝑱$.

В Шаблон:Li це розглядають як зміну координат на рімановому многовиді, і внутрішні властивості кривини залишаються незмінними за різних параметрувань. Загалом, інформаційна матриця за Фішером забезпечує ріманову метрику (точніше, метрику Фішера — Рао) для многовиду термодинамічних станів і її можливо використовувати як міру інформаційно-геометричної складності для класифікації фазових переходів, наприклад, скалярна кривина тензора термодинамічної метрики розбігається в точці фазового переходу (і лише там).

У термодинамічному контексті інформаційна матриця за Фішером безпосередньо пов'язана з темпом зміни відповідних параметрів порядку. Зокрема, такі зв'язки дозволяють виявляти фазові переходи другого порядку через розбіжність окремих елементів інформаційної матриці за Фішером.

Ізопериметрична нерівність

Інформаційна матриця за Фішером відіграє роль у нерівності, подібній до ізопериметричної нерівності. Серед усіх імовірнісних розподілів із заданою ентропією, той, чия інформаційна матриця за Фішером має найменший слід, є гауссовим розподілом. Це подібно до того, як серед усіх обмежених множин із заданим об'ємом найменшу площу поверхні має сфера.

Доведення містить взяття багатовимірної випадкової величини $X$ з функцією густини $f$ і додавання параметра положення для утворення сімейства густин $\{f(x-\theta )\mid \theta \in {ℝ}^n\}$. Тоді, за аналогією з Шаблон:Li, «площа поверхні» $X$ визначається як

$S(X)=\underset{\epsilon \to 0}{\lim }\frac{e^{H(X+Z_{\epsilon })}-e^{H(X)}}{\epsilon }$

де $Z_{\epsilon }$ — гауссова змінна з коваріаційною матрицею $\epsilon I$. Назва «площа поверхні» підходить, оскільки ентропійна потужність $e^{H(X)}$ є об'ємом «ефективної опорної множини», тому $S(X)$ є «похідною» від об'єму ефективної опорної множини, подібно до формули Мінковського — Штайнера. Решта доведення використовує Шаблон:Li, яка подібна до Шаблон:Li. Слід інформаційної матриці за Фішером виявляється пропорційним $S(X)$.

Застосування

Оптимальне планування експериментів

Інформацію за Фішером широко використовують в оптимальному плануванні експериментів. Через взаємозв'язок дисперсії оцінювача та інформації за Фішером мінімізування цієї дисперсії відповідає максимізуванню цієї інформації.

Коли лінійна (або Шаблон:Li) статистична модель містить декілька параметрів, середнє оцінювача цих параметрів є вектором, а його дисперсія — матрицею. Обернення матриці дисперсій називають «інформаційною матрицею» (Шаблон:Lang-en). Оскільки дисперсія оцінювача вектору параметрів — матриця, задача «мінімізування дисперсії» ускладнюється. За допомогою теорії статистики статистики стискають інформаційну матрицю до дійснозначних зведених статистик; як дійснозначні функції, ці «інформаційні критерії» можливо максимізувати.

Традиційно статистики оцінювали оцінювачі та плани експериментів за допомогою певної зведеної статистики коваріаційної матриці (незміщеного оцінювача), зазвичай із додатними дійсними значеннями (на кшталт визначника або сліду матриці). Робота з додатними дійсними числами має кілька переваг: якщо оцінювач одного параметра має додатну дисперсію, то дисперсія та інформація за Фішером є додатними дійсними числами; отже, вони є елементами опуклого конуса невід'ємних дійсних чисел (ненульові елементи якого мають обернені значення в цьому ж конусі).

Для декількох параметрів коваріаційні та інформаційні матриці є елементами опуклого конуса невід'ємно визначених симетричних матриць у частково Шаблон:Li з Шаблон:Li. Цей конус замкнений щодо додавання та обернення матриць, а також щодо множення додатних дійсних чисел і матриць. Огляд теорії матриць і порядку Льовнера наведено у праці Пукельсгайма.

Традиційні критерії оптимальності є інваріантами інформаційної матриці в сенсі теорії інваріантів; алгебрично, традиційні критерії оптимальності є функціоналами власних значень (фішерової) інформаційної матриці (див. оптимальне планування).

Апріорний розподіл Джеффріса в баєсовій статистиці

У баєсовій статистиці інформацію за Фішером використовують для обчислення Шаблон:Li, стандартного неінформативного апріорного розподілу для параметрів неперервних розподілів.

Обчислювальна нейронаука

Інформацію за Фішером використовували для знаходження меж точності нейронних кодів. У цьому випадку X зазвичай є спільними відгуками багатьох нейронів, які подають низьковимірну змінну θ (як-от параметр Шаблон:Li). Зокрема, досліджували роль кореляцій у шумі нейронних відгуків.

Епідеміологія

Інформацію за Фішером використовували для дослідження інформативності різних джерел даних для оцінки репродукційного числа SARS-CoV-2.

Виведення фізичних законів

Інформація за Фішером відіграє центральну роль у суперечливому принципі, висунутому Шаблон:Li як основа фізичних законів, що є предметом дискусій.

Машинне навчання

Інформацію за Фішером використовують у методиках машинного навчання, таких як Шаблон:Li, які знижують Шаблон:Li у штучних нейронних мережах.

Інформацію за Фішером можливо використовувати як альтернативу матриці Гессе функції втрат у тренуванні мереж градієнтним спуском другого порядку.

Розрізнення кольорів

Використовуючи Шаблон:Li, да Фонсека та ін. досліджували, наскільки Шаблон:Li (еліпси розрізнення кольорів) можливо вивести з Шаблон:Li фоторецепторів сітківки.

Зв'язок із відносною ентропією

Шаблон:See also Інформація за Фішером пов'язана з відносною ентропією. Відносну ентропію, або розходження Кульбака — Лейблера, між двома розподілами $p$ та $q$ можливо записати як

$KL(p:q)=\int p(x)\log \frac{p(x)}{q(x)}dx.$

Тепер розгляньмо сімейство ймовірнісних розподілів $f(x;\theta )$, параметрованих $\theta \in \mathrm{\Theta }$. Тоді розходження Кульбака — Лейблера між двома розподілами в цьому сімействі можливо записати як

$D(\theta ,{\theta }^{\prime })=KL(p(\cdot ;\theta ):p(\cdot ;{\theta }^{\prime }))=\int f(x;\theta )\log \frac{f(x;\theta )}{f(x;{\theta }^{\prime })}dx.$

Якщо параметр $\theta$ незмінний, то відносна ентропія між двома розподілами з того ж сімейства мінімізується при ${\theta }^{\prime }=\theta$. Для значень ${\theta }^{\prime }$, близьких до $\theta$, попередній вираз можна розкласти в ряд до другого порядку:

$D(\theta ,{\theta }^{\prime })=\frac{1}{2}({\theta }^{\prime }-\theta {)}^{\mathsf{\text{T}}}{(\frac{{\partial }^2}{\partial \theta {\text{'}}_i\partial \theta {\text{'}}_j}D(\theta ,{\theta }^{\prime }))}_{{\theta }^{\prime }=\theta }({\theta }^{\prime }-\theta )+o(({\theta }^{\prime }-\theta {)}^2)$

Але другу похідну можливо записати як

${(\frac{{\partial }^2}{\partial \theta {\text{'}}_i\partial \theta {\text{'}}_j}D(\theta ,{\theta }^{\prime }))}_{{\theta }^{\prime }=\theta }=-\int f(x;\theta ){(\frac{{\partial }^2}{\partial \theta {\text{'}}_i\partial \theta {\text{'}}_j}\log (f(x;{\theta }^{\prime })))}_{{\theta }^{\prime }=\theta }dx=[ℐ(\theta ){]}_{i,j}.$

Тож інформація за Фішером подає кривину відносної ентропії умовного розподілу відносно його параметрів.

Історія

Інформацію за Фішером обговорювали кілька ранніх статистиків, зокрема Ф. І. Еджворт.Шаблон:Sfnp Наприклад, СевіджШаблон:Sfnp пише: «У ній [інформації за Фішером] його [Фішера] певною мірою передбачили (Еджворт 1908–9, особливо стор. 502, 507–8, 662, 677–8, 82–5 і посилання, які він [Еджворт] наводить, включно з Пірсоном і Філоном 1898 [. . .])». Існує кілька ранніх історичних джерелШаблон:Sfnmp і кілька оглядів цієї ранньої роботи.Шаблон:SfnpШаблон:SfnmpШаблон:Sfnmp

Див. також

• Шаблон:Li
• Шаблон:Li
• Шаблон:Li
• Шаблон:Li
• Шаблон:Li
• Шаблон:Li
• Межа Крамера — Рао
• Шаблон:Li
• Шаблон:Li

Інші міри, які використовують у теорії інформації:

• Інформаційна ентропія
• Розходження Кульбака — Лейблера
• Власна інформація

Джерела

• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite bookШаблон:Page needed
• Шаблон:Cite journal
• Шаблон:Cite book Шаблон:Page needed
• Шаблон:Cite book