Перегляд вихідного коду сторінки Інформаційний критерій Акаіке

́'''Інформаційний критерій Акаіке''' ('''ІКА''', {{lang-en|Akaike information criterion, AIC}})&nbsp;— це [[Оцінювач (статистика)|оцінювач]] похибки [[Позавибірковість|позавибіркового]] передбачування, і відтак відносної якості [[Статистична модель|статистичних моделей]], для заданого набору даних.<ref>{{cite book |first=Richard |last=McElreath |authorlink=Річард МакЕлрет |title=Statistical Rethinking: A Bayesian Course with Examples in R and Stan |location= |publisher=CRC Press |year=2016 |isbn=978-1-4822-5344-3 |page=189 |quote=AIC provides a surprisingly simple estimate of the average out-of-sample deviance. |url=https://books.google.com/books?id=T3FQDwAAQBAJ&pg=PA189 |accessdate=30 грудня 2019 |archive-date=25 липня 2020 |archive-url=https://web.archive.org/web/20200725014656/https://books.google.com/books?id=T3FQDwAAQBAJ&pg=PA189 }} {{ref-en}}</ref><ref>{{cite book |first=Matt |last=Taddy |title=Business Data Science: Combining Machine Learning and Economics to Optimize, Automate, and Accelerate Business Decisions |page=90 |location=New York |publisher=McGraw-Hill |year=2019 |isbn=978-1-260-45277-8 |url=https://books.google.com/books?id=yPOUDwAAQBAJ&pg=PA90 |quote=The AIC is an estimate for OOS deviance. |accessdate=30 грудня 2019 |archive-date=25 липня 2020 |archive-url=https://web.archive.org/web/20200725014010/https://books.google.com/books?id=yPOUDwAAQBAJ&pg=PA90 }} {{ref-en}}</ref> Маючи сукупність моделей для цих даних, ІКА оцінює якість кожної з моделей відносно кожної з інших моделей. Таким чином, ІКА пропонує засоби для [[обирання моделі]].

ІКА ґрунтується на [[Теорія інформації|теорії інформації]]. Коли статистичну модель використовують для представлення процесу, що породив дані, це представлення майже ніколи не буде точним, тож деяка інформація при застосуванні цієї моделі для представлення цього процесу втрачатиметься. ІКА оцінює відносну кількість інформації, що втрачає задана модель: що менше інформації втрачає модель, то вищою є її якість.

В оцінюванні кількості інформації, що втрачає модель, ІКА має справу з компромісом між [[Допасованість (статистика)|допасованістю]] моделі та її простотою. Іншими словами, ІКА працює як із ризиком [[перенавчання]], так і з ризиком недонавчання.

Інформаційний критерій Акаіке названо на честь статистика {{нп|Хіроцуґу Акаіке|||Hirotugu Akaike}}, який його сформулював. Він тепер формує основу однієї з парадигм {{нп|Засади статистики|засад статистики||Foundations of statistics}}, а також знаходить широкого вжитку в [[Статистичне висновування|статистичному висновуванні]].

== Означення ==
Припустімо, що ми маємо [[Статистична модель|статистичну модель]] якихось даних. Нехай {{math|''k''}} буде числом оцінюваних [[Статистичний параметр|параметрів]] у цій моделі. Нехай <math>\hat L</math> буде максимальним значенням [[Функція правдоподібності|функції правдоподібності]] для цієї моделі. Тоді значенням ІКА цієї моделі є наступне.{{sfn|Бернем|Андерсон|2002|loc=§2.2}}{{sfn|Акаіке|1974}}

: <math>\mathrm{AIC} \, = \, 2k - 2\ln(\hat L)</math>

Для заданого набору моделей-кандидатів даних найкращою моделлю є та, що має мінімальне значення ІКА. Таким чином, ІКА винагороджує [[Допасованість (статистика)|допасованість]] (за оцінкою функції правдоподібності), але також включає штраф, що є висхідною функцією числа оцінюваних параметрів. Цей штраф перешкоджає [[Перенавчання|перенавчанню]], оскільки збільшення числа параметрів у моделі майже завжди покращує її допасованість.

ІКА засновано на [[Теорія інформації|теорії інформації]]. Припустімо, що дані породжуються якимось невідомим процесом ''f''. Ми розглядаємо дві моделі-кандидати для представлення ''f'': ''g''<sub>1</sub> та ''g''<sub>2</sub>. Якби ми знали ''f'', то могли би знайти втрату інформації від застосування ''g''<sub>1</sub> для представлення ''f'' шляхом обчислення [[розходження Кульбака — Лейблера|розходження Кульбака&nbsp;— Лейблера]], {{Nowrap|''D''<sub>KL</sub>(''f'' &thinsp;‖ &thinsp;''g''<sub>1</sub>)}}; аналогічно, втрату інформації від застосування ''g''<sub>2</sub> для представлення ''f'' може бути знайдено обчисленням {{Nowrap|''D''<sub>KL</sub>(''f'' &thinsp;‖ &thinsp;''g''<sub>2</sub>)}}. Тоді би ми, загалом, обрали модель-кандидата, що мінімізує втрату інформації.

Ми не можемо обирати з упевненістю, оскільки не знаємо ''f''. Проте {{Harvnb|Акаіке|1974}} показав, що за допомогою ІКА ми можемо оцінити, наскільки більше (або менше) інформації втрачається моделлю ''g''<sub>1</sub>, аніж моделлю ''g''<sub>2</sub>. Ця оцінка, проте, є вірною лише {{Нп|Асимптотична теорія (статистика)|асимптотично||Asymptotic theory (statistics)}}: якщо кількість точок даних є малою, то часто є необхідним додаткове коригування (див. [[#ІКАк|§ ІКАк]] нижче).

Зауважте, що ІКА не каже нічого про абсолютну якість моделі, лише про якість відносно інших моделей. Таким чином, якщо всі моделі-кандидати допасовуються погано, ІКА не видасть жодного попередження про це. Отже, після обрання моделі за допомогою ІКА, зазвичай доброю практикою є підтвердити абсолютну якість моделі. Таке підтвердження зазвичай включає перевірку [[Похибки та залишки|залишків]] моделі (щоби визначити, чи виглядають залишки випадковими), та перевірки передбачень моделі. Докладніше з цієї теми див. [[затверджування статистичної моделі]].

== Як використовувати ІКА на практиці ==

Для застосування ІКА на практиці ми починаємо з набору моделей-кандидатів, а потім знаходимо відповідні значення ІКА цих моделей. Через застосування моделі-кандидата для представлення «справжньої моделі», тобто процесу, що породив дані, втрата інформації буде майже завжди. Серед моделей-кандидатів ми хочемо обрати таку, що мінімізує цю втрату інформації. Ми не можемо обирати з упевненістю, але ми можемо мінімізувати оцінювану втрату інформації.

Припустімо, що є ''R'' моделей-кандидатів. Позначмо значення ІКА ({{lang-en|AIC}}) для цих моделей через AIC<sub>1</sub>, AIC<sub>2</sub>, AIC<sub>3</sub>, …, AIC<sub>''R''</sub>. Нехай AIC<sub>min</sub> буде мінімальним із цих значень. Тоді величину exp((AIC<sub>min</sub>&#8239;−&thinsp;AIC<sub>''i''</sub>)/2) можливо інтерпретувати як пропорційну до ймовірності того, що ''i''-та модель мінімізує (оцінювану) втрату інформації.{{sfn|Бернем|Андерсон|2002|loc=§2.9.1, §6.4.5}}

Як приклад, припустімо, що є три моделі-кандидати, значеннями ІКА яких є 100, 102 та 110. Тоді друга модель є в exp((100&#8239;−&thinsp;102)/2) = 0.368 разів імовірнішою за першу модель для мінімізації втрати інформації. Аналогічно, третя модель є в exp((100&#8239;−&thinsp;110)/2) = 0.007 разів імовірнішою за першу для мінімізації втрати інформації.

В цьому прикладі ми опустимо третю модель із подальшого розгляду. Тоді ми матимемо три варіанти: (1) зібрати більше даних у надії, що це дозволить здійснити чітке розрізнення між першими двома моделями; (2) просто зробити висновок, що дані є недостатніми для підтримки обрання моделі з-поміж цих двох; (3) взяти зважене середнє перших двох моделей з ваговими коефіцієнтами, пропорційними 1 та 0.368 відповідно, і потім здійснювати [[статистичне висновування]] на основі зваженої [[Ансамблеве навчання|мультимоделі]].{{sfn|Бернем|Андерсон|2002}}

Величина exp((AIC<sub>min</sub>&#8239;−&thinsp;AIC<sub>''i''</sub>)/2) є відомою як ''[[відносна правдоподібність]]'' моделі ''i''. Вона є тісно пов'язаною з відношенням правдоподібностей, що використовують у [[Перевірка відношенням правдоподібностей|перевірці відношенням правдоподібностей]]. Дійсно, якщо всі моделі в наборі кандидатів мають однакове число параметрів, то застосування ІКА може спершу здаватися дуже схожим на застосування перевірки відношенням правдоподібностей. Проте є істотні відмінності. Зокрема, перевірка відношенням правдоподібностей є чинною лише для [[Вкладені статистичні моделі|вкладених моделей]], тоді як ІКА (та ІКАк) не мають такого обмеження.{{sfn|Бернем|Андерсон|2002|loc=§2.12.4}}{{sfn|Мерта|2014}}

== Перевірка гіпотез ==

Кожну [[Перевірка статистичних гіпотез|перевірку статистичних гіпотез]] може бути сформульовано як порівняння статистичних моделей. Отже, кожну перевірку статистичних гіпотез може бути відтворено через ІКА. У підрозділах нижче коротко описано два приклади. Деталі для цих прикладів, та набагато більше прикладів, наведено в {{Harvnb|Сакамото|Ісіґуро|Кітаґава||1986|loc=Частина&nbsp;II}} та {{Harvnb|Конісі|Кітаґава|2008|loc=гл.&nbsp;4}}.

=== Відтворення ''t''-критерію Стьюдента ===

Як приклад перевірки гіпотез, розгляньмо [[t-критерій Стьюдента|''t''-критерій]] для порівнювання середніх значень двох [[Нормальний розподіл|нормально розподілених]] [[Генеральна сукупність|сукупностей]]. Вхід до ''t''-критерію складається з випадкової вибірки з кожної з цих двох сукупностей.

Щоби сформулювати цей критерій як порівняння моделей, ми будуємо дві різні моделі. Перша модель моделює ці дві сукупності як такі, що мають потенційно різні середні значення та [[Стандартне відхилення|стандартні відхилення]]. Функція правдоподібності для першої моделі відтак є добутком правдоподібностей для двох різних нормальних розподілів, тож вона має чотири параметри: {{math| ''μ''<sub>1</sub>, ''σ''<sub>1</sub>, ''μ''<sub>2</sub>, ''σ''<sub>2</sub>}}. Щоби бути точними, ця [[функція правдоподібності]] є наступною (із позначенням розмірів вибірок через {{math| ''n''<sub>1</sub>}} and {{math|''n''<sub>2</sub>}}).

: <math>
  \mathcal{L}(\mu_1,\sigma_1,\mu_2,\sigma_2) \, = \,  
</math>
: <math> \; \; \; \; \; \; \; \; 
       \prod_{i=1}^{n_1} \frac{1}{\sqrt{2 \pi}\sigma_1} \exp\left( -\frac{(x_i-\mu_1)^2}{2\sigma_1^2}\right) \; \, \boldsymbol\cdot \, 
       \prod_{i=n_1+1}^{n_1+n_2} \frac{1}{\sqrt{2 \pi}\sigma_2} \exp\left( -\frac{(x_i-\mu_2)^2}{2\sigma_2^2}\right) 
</math>

Друга модель моделює ці дві сукупності як такі, що мають однакові середні, але потенційно різні стандартні відхилення. Функція правдоподібності для другої моделі відтак встановлює в наведеному вище рівнянні {{math|''μ''<sub>1</sub> {{=}} ''μ''<sub>2</sub>}}, тож вона має три параметри.

Потім ми максимізуємо ці функції правдоподібності для цих двох моделей (на практиці ми максимізуємо функції логарифмічної правдоподібності), після чого стає просто обчислити значення ІКА цих моделей. Далі ми обчислюємо відносну правдоподібність. Наприклад, якщо друга модель виявиться лише в 0.01 разів правдоподібнішою за першу, то ми виключимо другу модель із подальшого розгляду: тож ми зробимо висновок, що ті дві сукупності мають різні середні.

''t''-критерій виходить із того, що дві сукупності мають ідентичні стандартні відхилення. Цей критерій схильний бути ненадійним, якщо це припущення є хибним, а також якщо розміри двох вибірок є дуже різними ({{нп|t-критерій Велша|''t''-критерій Велша||Welch's t-test}} був би кращим). Порівнювання середніх значень через ІКА, як у прикладі вище, має перевагу, бо не спирається на це припущення.

=== Порівнювання наборів категорійних даних ===

Як інший приклад перевірки гіпотез, припустімо, що ми маємо дві сукупності, й кожен із членів кожної сукупності перебуває в одній з двох [[Категорійна змінна|категоій]]: категорії №&nbsp;1, або категорії №&nbsp;2. Кожна з сукупностей є [[Біноміальний розподіл|розподіленою біноміально]]. Ми хочемо знати, чи є розподіли цих двох сукупностей однаковими. Нам дали випадкову вибірку з кожної з двох сукупностей.

Нехай {{math|''m''}} буде розміром вибірки з першої сукупності. Нехай {{math|''m''<sub>1</sub>}} буде числом спостережень (у цій вибірці) в категорії №&nbsp;1, тож числом спостережень у категорії №&nbsp;2 буде {{math|''m'' − ''m''<sub>1</sub>}}. Аналогічно, нехай {{math|''n''}} буде розміром вибірки з другої сукупності. Нехай {{math|''n''<sub>1</sub>}} буде числом спостережень (у цій вибірці) в категорії №&nbsp;1.

Нехай {{mvar|p}} буде ймовірністю того, що випадково обраний член першої сукупності перебуває в категорії №&nbsp;1. Отже, ймовірністю того, що випадково обраний член першої сукупності перебуває в категорії №&nbsp;2, буде {{math|1&thinsp;−&thinsp;''p''}}. Зауважте, що розподіл першої сукупності має один параметр. Нехай {{mvar|q}} буде ймовірністю того, що випадково обраний член другої сукупності перебуває в категорії №&nbsp;1. Зауважте, що розподіл другої сукупності також має один параметр.

Щоби порівняти розподіли цих двох сукупностей, ми будуємо дві різні моделі. Перша модель моделює, що ці дві сукупності мають потенційно різні біноміальні розподіли. Функцією правдоподібності для першої моделі відтак є добуток правдоподібностей для двох відмінних біноміальних розподілів, тож вона має два параметри: {{mvar|p}}, {{mvar|q}}. Щоби бути точними, ця функція правдоподібності є наступною:

: <math>
\mathcal{L}(p,q) \, = \, 
      \frac{m!}{m_1! (m-m_1)!} p^{m_1} (1-p)^{m-m_1} \; \, \boldsymbol\cdot \; \; 
      \frac{n!}{n_1! (n-n_1)!} q^{n_1} (1-q)^{n-n_1} 
</math>

Друга модель моделює, що ці дві сукупності мають один і той же розподіл. Функція правдоподібності для другої моделі відтак встановлює в наведеному вище рівнянні {{math|''p'' {{=}} ''q''}}, тож ця друга модель має один параметр.

Потім ми максимізуємо ці функції правдоподібності для цих двох моделей (на практиці ми максимізуємо функції логарифмічної правдоподібності), після чого стає просто обчислити значення ІКА цих моделей. Далі ми обчислюємо відносну правдоподібність. Наприклад, якщо друга модель виявилася лише в 0.01 разів правдоподібнішою за першу, то ми виключимо другу модель з подальшого розгляду: тож ми можемо зробити висновок, що ці дві сукупності мають різні розподіли.

== Засади статистики ==

[[Статистичне висновування]] розглядають як таке, що складається з перевіряння та [[Статистична оцінка|оцінювання]] гіпотез. Перевіряння гіпотез можливо здійснювати за допомогою ІКА, як обговорено вище. Стосовно оцінювання, існує два типи: [[точкове оцінювання]] та {{Нп|проміжкове оцінювання|||Interval estimation}}. Точкове оцінювання можливо здійснювати в межах парадигми ІКА: його забезпечує [[оцінка максимальної правдоподібності]]. Проміжкове оцінювання також можливо здійснювати в межах парадигми ІКА: його забезпечують [[Проміжок правдоподібності|проміжки правдоподібності]]. Отже, статистичне висновування загалом можливо здійснювати в межах парадигми ІКА.

Найширше вживаними парадигмами статистичного висновування є [[частотницьке висновування]] та [[баєсове висновування]]. Проте ІКА можливо використовувати для статистичного висновування без покладання як на частотницьку парадигму, так і на баєсову, оскільки ІКА можливо інтерпретувати без допомоги [[Статистична значущість|рівнів значущості]] та [[Баєсове апріорне|баєсових апріорних]].{{sfn|Бернем|Андерсон|2002|p=99}} Іншими словами, ІКА може бути використано для формування {{нп|Засади статистики|засад статистики||Foundations of statistics}}, відмінних як від частотництва, так і від баєсівства.{{sfn|Бандьопадхяя|Форстер|2011}}{{sfn|Сакамото|Ісіґуро|Кітаґава||1986}}

== {{anchor|ІКАк}}Видозміна для маленького розміру вибірки ==

Коли розмір [[Вибірка|вибірки]] є маленьким, існує реальна ймовірність того, що ІКА обиратиме моделі, які мають забагато параметрів, тобто, що ІКА [[Перенавчання|перенавчатиметься]].{{sfn|МакКуоррі|Цай|1998}}{{sfn|Клаескенс|Йорт|2008|loc= §8.3}}{{sfn|Жиро|2015|loc= §2.9.1}} Для подолання такого потенційного перенавчання було розроблено ІКАк: це ІКА з коригуванням для маленьких розмірів вибірок.

Формула ІКАк залежить від статистичної моделі. Якщо виходити з того, що модель є {{нп|Одновимірність|одновимірною||Univariate}}, лінійною відносно своїх параметрів, та має нормально розподілені [[Похибки та залишки|залишки]] (обумовлені [[регресор]]ами), то формула ІКАк є такою:{{sfn|Кавано|1997}}{{sfn|Бернем|Андерсон|2002|loc=§2.4}}

: <math>\mathrm{AICc} \, = \, \mathrm{AIC} + \frac{2k^2 + 2k}{n - k - 1}</math>

де ''n'' позначає розмір вибірки, а ''k'' позначає кількість параметрів. Таким чином, ІКАк по суті є ІКА з додатковим членом штрафу на число параметрів. Зауважте, що коли {{math|''n'' → ∞}}, цей додатковий член штрафу збігається до 0, і відтак ІКАк збігається до ІКА.{{sfn|Бернем|Андерсон|2004}}

Якщо припущення про те, що модель є одновимірною та лінійною з нормальними залишками, не виконується, то формула ІКАк в загальному випадку відрізнятиметься від наведеної вище. Для деяких моделей визначити цю формулу може бути складно. Втім, для кожної моделі, для якої існує ІКАк, формула ІКАк задається як ІКА плюс член, який включає як {{math|''k''}}, так і {{math|''k''}}<sup>2</sup>. Для порівняння, формула ІКА включає {{math|''k''}}, але не {{math|''k''}}<sup>2</sup>. Іншими словами, ІКА є {{нп|Наближення першого порядку|оцінкою першого порядку||First order approximation}} (втрат інформації), в той час як ІКАк є {{нп|Наближення другого порядку|оцінкою другого порядку||Second order approximation}}.{{sfn|Бернем|Андерсон|2002|loc=§7.4}}

Подальше обговорення цієї формули, з прикладами та іншими припущеннями, наведено в {{Harvnb|Бернем|Андерсон|2002|loc=гл.&nbsp;7}} та {{Harvnb|Конісі|Кітаґава|2008|loc=гл.&nbsp;7–8}}. Зокрема, за інших припущень, часто є придатною [[Статистична натяжка|натяжкова оцінка]] цієї формули.

Щоби підсумувати, ІКАк має перевагу в схильності бути точнішим за ІКА (особливо для малих вибірок), але ІКАк також має недолік іноді бути набагато складнішим для обчислення, ніж ІКА. Зауважте, що якщо всі моделі-кандидати мають однакову {{math|''k''}} та однакові формули ІКАк, то ІКАк та ІКА даватимуть ідентичні (відносно) оцінки. Отже, не буде недоліку в застосуванні ІКА замість ІКАк. Крім того, якщо {{math|''n''}} у багато разів більше за {{math|''k''}}<sup>2</sup>, то додатковий член штрафу буде незначним, а отже, незначними будуть і недоліки застосування ІКА замість ІКАк.

== Історія ==
[[Файл:Akaike.jpg|thumb|{{нп|Хіроцуґу Акаіке||ja|赤池弘次}}]]

Інформаційний критерій Акаіке було сформульовано статистиком {{нп|Хіроцуґу Акаіке|||Hirotugu Akaike}}. Первинно його було названо «інформаційним критерієм».{{sfn|Фіндлі|Парцен|1995}} Англійською про нього було вперше заявлено Акаіке на симпозіумі 1971 року, протокол якого було опубліковано 1973 року.{{sfn|Фіндлі|Парцен|1995}}{{sfn|Акаіке|1973}} Публікація 1973 року, однак, була лише неформальним представленням цих понять.{{sfn|де Лев|1992}} Першою формальною публікацією була праця Акаіке 1974 року.{{sfn|Акаіке|1974}} Станом на жовтень 2014 року праця 1974 року отримала понад 14&nbsp;000 цитувань в [[Web of Science]], ставши 73-тьою найцитованішою працею за всі часи.<ref>Van Noordon R., Maher B., Nuzzo R. (2014), «[http://www.nature.com/top100 The top 100 papers]», ''[[Nature]]'', 514. {{ref-en}}</ref>

На сьогодні ІКА став настільки поширеним, що його часто використовують без цитування праці Акаіке 1974 року. Дійсно, існує понад 150&nbsp;000 наукових статей/книг, що використовують ІКА (за оцінкою [[Google Scholar]]).<ref>[https://scholar.google.com/scholar?as_vis=0&q=Akaike+AIC&as_sdt=1,5 Джерела, що містять як «Akaike», так і «AIC»,] {{Webarchive|url=https://web.archive.org/web/20210413232400/https://scholar.google.com/scholar?as_vis=0&q=Akaike+AIC&as_sdt=1,5 |date=13 квітня 2021 }} на [[Google Scholar]].</ref>

Початкове виведення ІКА покладалося на деякі сильні припущення. {{Harvnb|Такеуті|1976}} показав, що ці припущення може бути зроблено значно слабшими. Але праця Такеуті була японською, і не була широко відомою за межами Японії протягом багатьох років.

ІКАк початково запропонував для [[Лінійна регресія|лінійної регресії]] (лише) {{Harvnb|Суґіура|1978}}. Це спровокувало працю {{Harvnb|Гурвич|Цай|1989}} та кілька подальших праць цих же авторів, що розширили ситуації, в яких можливо застосовувати ІКАк.

Першим загальним викладом підходу теорії інформації була книга {{Harvnb|Бернем|Андерсон|2002}}. Вона включає англомовне представлення праці Такеуті. Ця книга призвела до поширення застосування ІКА, і наразі вона має понад 48&nbsp;000 цитувань на [[Google Scholar]].

Акаіке назвав свій підхід «принципом максимізації ентропії», оскільки він ґрунтується на понятті [[Інформаційна ентропія|ентропії в теорії інформації]]. Дійсно, мінімізація ІКА в статистичній моделі є фактично рівнозначною максимізації ентропії в [[Термодинамічна система|термодинамічній системі]]; іншими словами, підхід теорії інформації в статистиці є по суті застосуванням [[Другий закон термодинаміки|другого закону термодинаміки]]. По суті, ІКА має корені в праці [[Людвіг Больцман|Людвіга Больцмана]] про [[Ентропія|ентропію]]. Більше про ці питання див. {{Harvnb|Акаіке|1985}} та {{Harvnb|Бернем|Андерсон|2002|loc=гл.&nbsp;2}}.

== Поради щодо застосування ==

=== Підрахунок параметрів ===

[[Статистична модель]] мусить [[Допасованість (статистика)|допасовуватися]] до всіх точок даних. Таким чином, пряма лінія сама по собі не є моделлю даних, якщо не всі точки даних лежать точно на цій лінії. Проте ми можемо обрати модель, яка є «прямою лінією плюс шум»; таку модель може бути формально описано таким чином: ''y''<sub>''i''</sub>&nbsp;= ''b''<sub>0</sub>&nbsp;+ ''b''<sub>1</sub>''x''<sub>''i''</sub>&nbsp;+ ''ε''<sub>''i''</sub>. Тут ''ε''<sub>''i''</sub> є [[Похибки та залишки|залишками]] від допасовування прямої лінії. Якщо ''ε''<sub>''i''</sub> вважаються [[Нормальний розподіл|гаусовими]] [[Незалежні однаково розподілені випадкові величини|НОР]] (з нульовим середнім значенням), то модель має три параметри: ''b''<sub>0</sub>, ''b''<sub>1</sub> та дисперсію цих гаусових розподілів. Отже, при обчисленні ІКА цієї моделі ми повинні використовувати ''k''=3. Загальніше, для будь-якої моделі [[Метод найменших квадратів|найменших квадратів]] з гаусовими НОР залишками дисперсія розподілів залишків повинна рахуватися як один з параметрів.{{sfn|Бернем|Андерсон|2002|p=63}}

Як інший приклад розгляньмо [[Авторегресійна модель|авторегресійну модель]] першого порядку, визначену як ''x''<sub>''i''</sub>&nbsp;= ''c''&nbsp;+ ''φx''<sub>''i''&minus;1</sub>&nbsp;+ ''ε''<sub>''i''</sub>, де ''ε''<sub>''i''</sub> є гаусовими НОР (з нульовим середнім значенням). У випадку цієї моделі існує три параметри: ''c'', ''φ'' та дисперсія ''ε''<sub>''i''</sub>. Загальніше, авторегресійна модель ''p''-того порядку має ''p''&#8239;+&thinsp;2 параметри. (Проте, якщо ''c'' не оцінюється з даних, а є натомість заданим заздалегідь, тоді параметрів є лише ''p''&#8239;+&thinsp;1.)

=== Перетворювання даних ===

Значення ІКА для всіх моделей-кандидатів мусить бути обчислювано на одному й тому ж наборі даних. Проте іноді нам може захотітися порівняти модель [[Змінна відгуку|змінної відгуку]], {{math|''y''}}, із моделлю логарифма змінної відгуку, {{math|log(''y'')}}. Загальніше, нам може захотітися порівняти модель даних із моделлю [[Перетворення даних (статистика)|перетворених даних]]. Далі наведено ілюстрацію того, як давати раду перетворенням даних (пристосовано з {{Harvnb|Бернем|Андерсон|2002|loc=§2.11.3}}: «Дослідники повинні бути впевнені, що моделюють всі гіпотези, застосовуючи одну й ту ж змінну відгуку»).

Припустімо, що ми хочемо порівнювати дві моделі: одну з [[Нормальний розподіл|нормальним розподілом]] {{math|''y''}}, та одну з нормальним розподілом {{math|log(''y'')}}. Ми ''не'' повинні порівнювати значення ІКА двох моделей напряму. Натомість ми повинні перетворити нормальну [[Функція розподілу ймовірностей|кумулятивну функцію розподілу]], щоби спочатку взяти логарифм {{math|''y''}}. Для здійснення цього нам потрібно виконати відповідне {{нп|інтегрування підставлянням|||Integration by substitution}}: таким чином, нам потрібно помножити на похідну функції [[Натуральний логарифм|(натурального) логарифма]], що є {{math|1/''y''}}. Отже, перетворений розподіл має наступну [[Густина імовірності|функцію густини ймовірності]]:

: <math>y \mapsto \, \frac{1}{y} \frac{1}{\sqrt{2\pi\sigma^2}}\,\exp \left(-\frac{\left(\ln y-\mu\right)^2}{2\sigma^2}\right)</math>

що є функцією густини ймовірності [[Логнормальний розподіл|логнормального розподілу]]. Тепер ми можемо порівнювати значення ІКА нормальної моделі зі значенням ІКА логнормальної моделі.

=== Ненадійність програмного забезпечення ===

Деяке статистичне програмне забезпечення повідомлятиме значення ІКА або максимальне значення функції логарифмічної правдоподібності, але ці значення не завжди є правильними. Як правило, неправильність спричинюється нехтуванням сталою в логарифмічній функції правдоподібності. Наприклад, функцією логарифмічної правдоподібності для {{math|''n''}} [[Незалежність (теорія ймовірностей)|незалежних]] ідентичних [[Нормальний розподіл|нормальних розподілів]] є

: <math>
   \ln\mathcal{L}(\mu,\sigma)
    \, = \, -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln\sigma^2 - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2
  </math>

Це є функцією, що максимізують при отримуванні значення ІКА. Проте деяке програмне забезпечення нехтує сталим членом {{math|(''n''/2){{resize|20%|&thinsp;}}ln(2''π'')}}, і таким чином повідомляє помилкові значення максимумів логарифмічних правдоподібностей, і, відтак, ІКА. Такі помилки не мають значення для порівнянь на основі ІКА, ''якщо'' всі моделі мають нормально розподілені [[Похибки та залишки|залишки]], оскільки тоді помилки взаємно компенсуються. Проте в загальному випадку сталий член потребує включення до функції логарифмічної правдоподібності.{{sfn|Бернем|Андерсон|2002|p=82}} Отже, перш ніж застосовувати програмне забезпечення для обчислення ІКА, в загальному випадку є гарною звичкою виконати якісь прості перевірки на цьому програмному забезпеченні, щоби переконатися, що значення цієї функції є правильними.

== Порівняння з іншими методами обирання моделі ==

=== Порівняння з БІК ===

Формула [[Баєсів інформаційний критерій|баєсова інформаційного критерію]] (БІК) є подібною до формули ІКА, але має відмінний штраф на число параметрів. В ІКА цим штрафом є {{math|2''k''}}, тоді як в БІК штрафом є {{math|ln(''n''){{resize|33%|&thinsp;}}''k''}}.

Порівняння ІКА/ІКАк та БІК наведено в {{Harvnb|Бернем|Андерсон|2002|loc=§6.3-6.4}}, з подальшими зауваженнями в {{Harvnb|Бернем|Андерсон|2004}}. Автори показують, що ІКА/ІКАк може бути виведено в такій самій баєсовій системі, що й БІК, просто застосованням інших [[Апріорна ймовірність|апріорних імовірностей]]. Проте, в баєсовім виведенні БІК кожна модель-кандидат має апріорну ймовірність 1/''R'' (де ''R'' є числом моделей-кандидатів). Таке виведення є «не чутливим» ({{lang-en|not sensible}}), оскільки апріорне повинне бути спадною функцією від {{math|''k''}}. Крім того, ці автори представляють кілька імітаційних досліджень, які наводять на думку, що ІКА має схильність мати практичні/продуктивні переваги над БІК.

Деякі дослідники підкреслили, що ІКА та БІК підходять для різних задач. Зокрема, вважають, що БІК підходить для обирання «істинної моделі» (тобто, процесу, що породив дані) з набору моделей кандидатів, тоді як ІКА для цього не підходить. Конкретніше, якщо «істинна модель» є присутньою в наборі моделей-кандидатів, то БІК обере цю «істинну модель» з імовірністю 1, за {{math|''n'' → ∞}}. На противагу цьому, при здійсненні обирання за допомогою ІКА, ця ймовірність може бути меншою за 1.{{sfn|Бернем|Андерсон|2002|loc=§6.3-6.4}}{{sfn|Врізе|2012}}{{sfn|Ахо|Дерріберрі|Петерсон|2014}} Прибічники ІКА стверджують, що ця проблема є незначною, оскільки «істинна модель» практично ніколи не буває присутньою в наборі кандидатів. Дійсно, у статистиці є поширеним афоризм, що {{нп|Всі моделі є неправильними|«всі моделі є неправильними»||All models are wrong}}, тож «істинна модель» (тобто, реальність) не може бути в наборі кандидатів.

Ще одне порівняння ІКА та БІК наведено у {{harvnb|Врізе|2012}}. Врізе представляє імітаційне дослідження, яке дозволяє «істинній моделі» бути в наборі кандидатів (на відміну від практично всіх реальних даних). Це імітаційне дослідження показує, зокрема, що ІКА іноді обирає набагато кращу модель, ніж БІК, навіть коли «істинна модель» перебуває в наборі кандидатів. Причина цього полягає в тім, що для скінченних {{math|''n''}} БІК може мати істотний ризик обрання з набору кандидатів дуже поганої моделі. Ця причина може проявлятися навіть коли {{math|''n''}} є набагато більшим за {{math|''k''}}<sup>2</sup>. З ІКА ризик обрання дуже поганої моделі є мінімальним.

Якщо «істинної моделі» в наборі кандидатів немає, то найбільше, що ми можемо сподіватися зробити, це обрати модель, яка найкраще наближує «істинну». ІКА підходить для пошуку найкращої наближувальної моделі, за деяких припущень.{{sfn|Бернем|Андерсон|2002|loc=§6.3-6.4}}{{sfn|Врізе|2012}}{{sfn|Ахо|Дерріберрі|Петерсон|2014}} (Ці припущення включають, зокрема, те, що наближування здійснюють по відношенню до втрати інформації.)

Порівняння ІКА та БІК у контексті [[Регресійний аналіз|регресії]] наведено в {{Harvnb|Янг|2005}}. В регресії ІКА є асимптотично оптимальним для обирання моделі з найменшою [[Середньоквадратична похибка|середньоквадратичною похибкою]], за припущення, що «істинна модель» не перебуває в наборі кандидатів. БІК не є асимптотично оптимальним за цього припущення. Янг додатково показує, що темп, з яким ІКА збігається до оптимуму, в певному сенсі є найкращим з можливих.

=== Порівняння з перехресним затверджуванням ===

[[Перехресне затверджування]] з виключенням по одному є асимптотично рівнозначним ІКА для звичайних лінійних регресійних моделей.{{sfn|Стоун|1977}} Асимптотична еквівалентність до ІКА також має місце й для [[Змішана модель|моделей зі змішаними рівнями факторів]].{{sfn|Фан|2011}}

=== Порівняння з найменшими квадратами ===

Іноді кожна з моделей-кандидатів передбачає, що залишки розподілено відповідно до незалежних ідентичних нормальних розподілів (з нульовим середнім). Це дає привід для допасовування моделей [[Найменші квадрати|найменшими квадратами]].

При допасовуванні найменшими квадратами [[Оцінка максимальної правдоподібності|оцінкою максимальної правдоподібності]] для дисперсії розподілів залишків моделі є <math>\hat\sigma^2 = \mathrm{RSS}/n</math>, де <math>\mathrm{RSS}</math> є {{нп|Залишкова сума квадратів|залишковою сумою квадратів||Residual sum of squares}} ({{lang-en|Residual Sum of Squares}}): <math>\textstyle \mathrm{RSS} = \sum_{i=1}^n (y_i-f(x_i;\hat{\theta}))^2</math>. Тоді максимальним значенням функції логарифмічної правдоподібності моделі є

: <math>
 -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\hat\sigma^2) - \frac{1}{2\hat\sigma^2}\mathrm{RSS}  
\, = \, - \frac{n}{2}\ln(\mathrm{RSS}/n) + C
  </math>

де {{math|''C''}} є сталою, що не залежить від моделі, а залежить лише від конкретних точок даних, тобто, вона не змінюється, якщо не змінюються дані.

Це дає AIC&nbsp;= {{math|2''k'' + ''n''{{resize|33%|&thinsp;}}ln(RSS/''n'') &minus; 2''C'' {{=}} 2''k'' + ''n''{{resize|33%|&thinsp;}}ln(RSS) &minus; (''n''{{resize|33%|&thinsp;}}ln(''n'') + 2''C'')}}.{{sfn|Бернем|Андерсон|2002|p=63}} Оскільки в ІКА мають значення лише різниці, сталою {{math|(''n''{{resize|33%|&thinsp;}}ln(''n'') + 2''C'')}} можливо нехтувати, що дозволяє нам зручно брати для порівнювання моделей AIC&nbsp;= {{math|2''k'' + ''n''{{resize|33%|&thinsp;}}ln(RSS)}}. Зауважте, що якщо всі ці моделі мають однакове {{math|''k''}}, то обирання моделі з мінімальним ІКА є рівнозначним обиранню моделі з мінімальною {{math|RSS}}, що є звичайною метою обирання моделі на основі найменших квадратів.

=== Порівняння з ''C<sub>p</sub>'' Меллоуза ===

{{нп|Cp Меллоуза|''C<sub>p</sub>'' Меллоуза||Mallows's Cp}} є еквівалентом ІКА у випадку (гаусової) [[Лінійна регресія|лінійної регресії]].{{sfn|Boisbunon|Canu|Fourdrinier|Strawderman|2014}}

== Див. також ==

* {{нп|Інформаційний критерій відхилення|||Deviance information criterion}}
* {{нп|Фокусний інформаційний критерій|||Focused information criterion}}
* {{нп|Інформаційний критерій Геннена — Куїнна|Інформаційний критерій Геннена&nbsp;— Куїнна||Hannan–Quinn information criterion}}
* [[Метод максимальної правдоподібності]]
* {{нп|Принцип максимальної ентропії|||Principle of maximum entropy}}

== Примітки ==
{{reflist|24em}}

== Джерела ==
{{refbegin}}
* {{Citation | first1= K. | last1= Aho | first2= D. | last2= Derryberry | first3= T. | last3= Peterson | title= Model selection for ecologists: the worldviews of AIC and BIC | journal= [[Ecology (журнал)|Ecology]] | volume= 95 | issue= 3 | pages= 631–636 | year= 2014 | doi= 10.1890/13-1452.1 | ref= {{harvid|Ахо|Дерріберрі|Петерсон|2014}} }} {{ref-en}}
* {{Citation | first=H. |last=Akaike |authorlink=Хіроцуґу Акаіке |year=1973 | contribution= Information theory and an extension of the maximum likelihood principle | title= 2nd International Symposium on Information Theory, Tsahkadsor, Armenia, USSR, September 2-8, 1971 | editor1-first=B. N. | editor1-last= Petrov | editor2-first= F. | editor2-last= Csáki | pages=267–281 | publisher = [[Akadémiai Kiadó]] | place= Budapest | ref= {{harvid|Акаіке|1973}} }} Переопубліковано в {{citation| editor1-first= S. | editor1-last= Kotz | editor1-link= Самуїл Борисович Коц| editor2-first= N. L. | editor2-last= Johnson | editor2-link= Норман Ллойд Джонсон | title= Breakthroughs in Statistics | volume= I | pages= 610–624| year=1992 | publisher= [[Springer-Verlag]]}} {{ref-en}}
* {{Citation |first=H. |last=Akaike |authorlink=Хіроцуґу Акаіке |year=1974 |title=A new look at the statistical model identification |journal=[[IEEE Transactions on Automatic Control]] |volume=19 |issue=6 |pages=716–723 | url= |doi=10.1109/TAC.1974.1100705 |mr=0423716 |ref={{harvid|Акаіке|1974}} }} {{ref-en}}
* {{Citation | first=H. |last=Akaike |authorlink=Хіроцуґу Акаіке | contribution = Prediction and entropy | pages=1–24 | title= A Celebration of Statistics | editor1-first= A. C. | editor1-last= Atkinson | editor2-first= S. E. | editor2-last= Fienberg | editor2-link= Стівен Фейнберг | year = 1985 | publisher= Springer | ref= {{harvid|Акаіке|1985}} }} {{ref-en}}
* {{Citation |editor1-last= Bandyopadhyay |editor1-first= P. S. |editor-first2= M. R. |editor-last2= Forster | title = Philosophy of Statistics | publisher= [[North-Holland Publishing]] | year = 2011 | ref= {{harvid|Бандьопадхяя|Форстер|2011}} }} {{ref-en}}
* {{Citation | first1=A. | last1= Boisbunon | first2=S. | last2= Canu | first3=D. | last3= Fourdrinier | first4=W. |last4= Strawderman | first5=M. T. | last5= Wells | title= Akaike's Information Criterion, ''C<sub>p</sub>'' and estimators of loss for elliptically symmetric distributions | journal= [[International Statistical Review]]| year=2014 | volume=82 | pages= 422–439| doi= 10.1111/insr.12052 | ref=harv}} {{ref-en}}
* {{Citation |last=Burnham |first=K. P. |last2=Anderson |first2=D. R. |year=2002 |title=Model Selection and Multimodel Inference: A practical information-theoretic approach |edition=2nd |publisher=[[Springer-Verlag]] |url=https://archive.org/details/modelselectionmu0000burn |ref={{harvid|Бернем|Андерсон|2002}} |url-access=registration }} {{ref-en}}
* {{Citation |last=Burnham |first=K. P. |last2=Anderson |first2=D. R. |year=2004 |url=http://www.sortie-nd.org/lme/Statistical%20Papers/Burnham_and_Anderson_2004_Multimodel_Inference.pdf |title=Multimodel inference: understanding AIC and BIC in Model Selection |journal={{нп|Sociological Methods & Research}} |issn= |volume=33 |issue= |pages=261–304 |doi=10.1177/0049124104268644 |ref={{harvid|Бернем|Андерсон|2004}} |accessdate=21 жовтня 2015 |archive-date=15 березня 2012 |archive-url=https://web.archive.org/web/20120315165255/http://www.sortie-nd.org/lme/Statistical%20Papers/Burnham_and_Anderson_2004_Multimodel_Inference.pdf }} {{ref-en}}
* {{Citation |last=Cavanaugh |first=J. E. |year=1997 |title=Unifying the derivations of the Akaike and corrected Akaike information criteria |journal=Statistics & Probability Letters |volume=31 |issue= 2|pages=201–208 |doi=10.1016/s0167-7152(96)00128-9 |url=http://myweb.uiowa.edu/cavaaugh/aicaicc.pdf |ref=harv |accessdate=21 жовтня 2015 |archiveurl=https://web.archive.org/web/20160327131857/http://myweb.uiowa.edu/cavaaugh/aicaicc.pdf |archivedate=27 березня 2016 |deadurl=yes |ref={{harvid|Кавано|1997}} }} {{ref-en}}
* {{Citation |last=Claeskens |first=G.|author1-link= Ґерда Клаескенс |first2=N. L. |last2=Hjort| authorlink2= Нільс Лід Йорт |year=2008 |title=Model Selection and Model Averaging |publisher=[[Cambridge University Press]] |ref={{harvid|Клаескенс|Йорт|2008}} }} {{ref-en}} [''Зауваження:'' Визначення ІКА Клаескенс та Йорта має протилежний знак до стандартного визначення, первинно даного Акаіке, та дотримуваного іншими авторами.]
* {{Citation | first= J. | last= deLeeuw | authorlink= Ян де Лев | year= 1992 | contribution= Introduction to Akaike (1973) information theory and an extension of the maximum likelihood principle | contribution-url= http://gifi.stat.ucla.edu/janspubs/1990/chapters/deleeuw_C_90c.pdf | title= Breakthroughs in Statistics I | editor1-first= S. | editor1-last= Kotz | editor2-first= N. L. | editor2-last= Johnson | editor1-link= Самуїл Борисович Коц | editor2-link= Норман Ллойд Джонсон | pages= 599–609 | publisher= Springer | ref= {{harvid|де Лев|1992}} | accessdate= 21 жовтня 2015 | archive-date= 8 січня 2016 | archive-url= https://web.archive.org/web/20160108225147/http://gifi.stat.ucla.edu/janspubs/1990/chapters/deleeuw_C_90c.pdf }} {{ref-en}}
* {{Citation |last=Fang |first=Yixin |year=2011 |url=http://www.jds-online.com/file_download/278/JDS-652a.pdf |title=Asymptotic equivalence between cross-validations and Akaike Information Criteria in mixed-effects models |journal=Journal of Data Science |volume=9 |pages=15–21 |ref={{harvid|Фан|2011}} |accessdate=21 жовтня 2015 |archive-date=4 березня 2016 |archive-url=https://web.archive.org/web/20160304043846/http://www.jds-online.com/file_download/278/JDS-652a.pdf }} {{ref-en}}
* {{Citation | author1-first = D. F. | author1-last = Findley | author2-first=E. | author2-last=Parzen | author2-link= Емануель Парцен | year= 1995 | title = A conversation with Hirotugu Akaike | journal = {{нп|Statistical Science}} | volume = 10 | pages = 104—117 | doi = 10.1214/ss/1177010133 | ref = {{harvid|Фіндлі|Парцен|1995}} }} {{ref-en}}
* {{Citation| last=Giraud | first=C. | title=Introduction to High-Dimensional Statistics | year=2015 | publisher= [[CRC Press]] | ref={{harvid|Жиро|2015}} }} {{ref-en}}
* {{Citation |last=Hurvich |first=C. M. |last2=Tsai |first2=C.-L. |year=1989 |title=Regression and time series model selection in small samples |journal={{нп|Biometrika}} |issn= |volume=76 |issue= 2|pages=297–307 |doi= 10.1093/biomet/76.2.297 | ref= {{harvid|Гурвич|Цай|1989}} }} {{ref-en}}
* {{Citation | last1=Konishi | first1=S. | last2= Kitagawa | first2=G. | year=2008 | title=Information Criteria and Statistical Modeling | publisher=Springer | ref={{harvid|Конісі|Кітаґава|2008}} }} {{ref-en}}
* {{Citation |last=McQuarrie |first=A. D. R. |last2=Tsai |first2=C.-L. |year=1998 |title=Regression and Time Series Model Selection |publisher=[[World Scientific]] | ref={{harvid|МакКуоррі|Цай|1998}} }} {{ref-en}}
* {{Citation | last= Murtaugh | first= P. A. | title= In defense of ''P'' values | journal= [[Ecology (журнал)|Ecology]] | year= 2014 | volume= 95 | issue= 3 | pages= 611–617 | doi= 10.1890/13-0590.1 | url= https://zenodo.org/record/894459 | ref= {{harvid|Мерта|2014}} | accessdate= 30 грудня 2019 | archive-date= 30 грудня 2019 | archive-url= https://web.archive.org/web/20191230160814/https://zenodo.org/record/894459 }} {{ref-en}}
* {{Citation | author1-first= Y. | author1-last= Sakamoto | author2-first= M. | author2-last= Ishiguro | author3-first= G. | author3-last= Kitagawa | title= Akaike Information Criterion Statistics | year= 1986  | publisher= {{нп|D. Reidel}} | ref = {{harvid|Сакамото|Ісіґуро|Кітаґава||1986}} }} {{ref-en}}
* {{Citation |last=Stone |first=M. |date=1977 |title=An asymptotic equivalence of choice of model by cross-validation and Akaike's criterion |jstor=2984877 |journal={{нп|Journal of the Royal Statistical Society, Series B}} |volume=39 |issue=1 |pages=44–47 | ref= {{harvid|Стоун|1977}} }} {{ref-en}}
* {{Citation |last=Sugiura |first=N. |year=1978 |title=Further analysis of the data by Akaike's information criterion and the finite corrections |journal={{нп|Communications in Statistics|Communications in Statistics - Theory and Methods}} |volume=7 |issue= |pages=13–26 |doi= 10.1080/03610927808827599 |ref= {{harvid|Суґіура|1978}} }} {{ref-en}}
* {{Citation |last=Takeuchi |first=K. |year=1976 |language=Japanese | title=&nbsp; |trans-title=Distribution of informational statistics and a criterion of model fitting |journal=Suri Kagaku | trans-journal= Mathematical Sciences |issn= 0386-2240 |volume=153 |pages=12–18 | ref= {{harvid|Такеуті|1976}} }} {{ref-ja}}
* {{Citation | last= Vrieze | first= S. I. | title= Model selection and psychological theory: a discussion of the differences between the Akaike Information Criterion (AIC) and the Bayesian Information Criterion (BIC) | journal= {{нп|Psychological Methods}} | volume= 17 | issue= 2 | pages= 228—243 | year= 2012 | doi= 10.1037/a0027127 | pmc=3366160 | pmid=22309957 | ref= {{harvid|Врізе|2012}} }} {{ref-en}}
* {{Citation  |last=Yang |first=Y. |year=2005 |title=Can the strengths of AIC and BIC be shared? |journal={{нп|Biometrika}} |issn= |volume=92 |issue= |pages=937–950 |doi= 10.1093/biomet/92.4.937 | ref= {{harvid|Янг|2005}} }} {{ref-en}}
{{refend}}

== Література ==
* {{Citation | first= H. | last= Akaike | url= http://www.garfield.library.upenn.edu/classics1981/A1981MS54100001.pdf | title= This Week's Citation Classic | journal= {{нп|Current Contents|Current Contents Engineering, Technology, and Applied Sciences}} | volume= 12 | issue= 51 | page= 42 | date= 21 December 1981 | ref= none | accessdate= 21 жовтня 2015 | archive-date= 18 листопада 2017 | archive-url= https://web.archive.org/web/20171118111219/http://garfield.library.upenn.edu/classics1981/A1981MS54100001.pdf }} {{ref-en}} [Хіроцуґу Акаіке коментує, як він дійшов до ІКА]
* {{Citation |last=Anderson |first=D. R. |year=2008 |title=Model Based Inference in the Life Sciences |publisher=Springer |isbn= |ref=none}} {{ref-en}}
* {{Citation| first= T. W. | last= Arnold | title= Uninformative parameters and model selection using Akaike's Information Criterion  |journal= {{нп|Journal of Wildlife Management}} | volume= 74 | issue= 6 | page= 1175—1178 | year= 2010 | doi= 10.1111/j.1937-2817.2010.tb01236.x |ref=none }} {{ref-en}}
* {{Citation |first1=K. P. |last1=Burnham |first2=D. R. |last2=Anderson |first3=K. P. |last3=Huyvaert |title=AIC model selection and  multimodel inference in behavioral ecology |journal=[[Behavioral Ecology and Sociobiology]] |year=2011 |volume=65 |pages=23–35 |doi=10.1007/s00265-010-1029-6 |url=https://wolfweb.unr.edu/~ldyer/classes/396/burnham2011.pdf |ref=none |accessdate=30 грудня 2019 |archive-date=9 серпня 2017 |archive-url=https://web.archive.org/web/20170809055834/http://wolfweb.unr.edu/~ldyer/classes/396/burnham2011.pdf }} {{ref-en}}
* {{citation| first1= J. E. | last1= Cavanaugh | first2= A. A. | last2= Neath | title= The Akaike information criterion | journal=  {{нп|WIREs Computational Statistics}} | year= 2019 | volume= 11 | issue= 3 | page= e1460 | doi= 10.1002/wics.1460 | ref= none }} {{ref-en}}
* {{Citation | first1= C.-K. | last1= Ing | first2= C.-Z. | last2= Wei | title= Order selection for same-realization predictions in  autoregressive processes | journal= {{нп|Annals of Statistics}} | year = 2005 | volume= 33 | issue= 5 | pages= 2423—2474 | doi= 10.1214/009053605000000525 | ref=none }} {{ref-en}}
* {{Citation | first1= V. | last1= Ko | first2= N. L. | last2= Hjort | author2-link= Нільс Лід Йорт | title= Copula information crite rion for model selection with two-stage maximum likelihood estimation | journal= Econometrics and Statistics | year= 2019 | volume= 12 | page= 167–180 | doi= 10.1016/j.ecosta.2019.01.001 | ref=none}} {{ref-en}}
* {{Citation | first= S. | last= Larski | title= The Problem of Model Selection and Scientific Realism | type= Thesis | year= 2012 | publisher= [[London School of Economics]] | url= http://etheses.lse.ac.uk/615/1/StanislavLarski_Problem_Model_Selection.pdf | ref= none | accessdate= 30 грудня 2019 | archive-date= 24 березня 2019 | archive-url= https://web.archive.org/web/20190324154856/http://etheses.lse.ac.uk/615/1/StanislavLarski_Problem_Model_Selection.pdf }} {{ref-en}}
* {{Citation | last= Pan | first= W. | title= Akaike's Information Criterion in generalized estimating equations | journal= {{нп|Biometrics|||Biometrics (journal)}} | year= 2001 | volume= 57 | pages= 120—125 | url= https://pdfs.semanticscholar.org/d1e7/7111d45d4299e91c5b3beb9318a381d4d27c.pdf | doi= 10.1111/j.0006-341X.2001.00120.x | ref= none | accessdate= 30 грудня 2019 | archive-date= 5 травня 2018 | archive-url= https://web.archive.org/web/20180505065909/https://pdfs.semanticscholar.org/d1e7/7111d45d4299e91c5b3beb9318a381d4d27c.pdf }} {{ref-en}}
* {{Citation | editor1-first = E. | editor1-last = Parzen | editor2-first = K. | editor2-last = Tanabe | editor3-first = G. | editor3-last = Kitagawa | editor1-link= Емануель Парцен | title = Selected Papers of Hirotugu Akaike | year = 1998 | publisher = Springer | doi= 10.1007/978-1-4612-1694-0 |ref=none}} {{ref-en}}
* {{Citation | last1= Saefken | first1= B. | last2= Kneib | first2= T. | last3= van Waveren | first3= C.-S. | last4= Greven | first4= S. | year= 2014 | title= A unifying approach to the estimation of the conditional Akaike information in generalized linear mixed models | journal= {{нп|Electronic Journal of Statistics}} | volume= 8 | pages= 201—225 | doi= 10.1214/14-EJS881}} {{ref-en}}

{{Статистика|висновування}}

{{DEFAULTSORT:Інформаційний критерій Акаіке}}
[[Категорія:Ентропія й інформація]]
[[Категорія:Обирання моделі]]
[[Категорія:Обирання змінної регресії]]
[[Категорія:Наукове моделювання]]