Перегляд вихідного коду сторінки Допасованість (статистика)

{{more citations needed|дата=квітень 2020}}
{{Регресійний аналіз}}
'''Допасо́ваність'''<ref>{{e2u|goodness of fit|5}}</ref> ({{lang-en|goodness of fit}}) [[Статистична модель|статистичної моделі]] описує, наскільки добре її допасовано до набору спостережень. Міри допасованості зазвичай роблять підсумок незгідності між спостережуваними значеннями та значеннями, очікуваними за моделі, що розглядають. Такі міри можливо використовувати в [[Перевірка статистичних гіпотез|перевірці статистичних гіпотез]], наприклад, для [[Критерій нормальності|перевірки нормальності]] [[Похибки та залишки|залишків]], для перевірки того, чи дві вибірки вибрано з ідентичних розподілів (див. [[критерій Колмогорова — Смирнова]]), чи для перевірки того, чи слідують виходові частоти певному розподілові (див. [[критерій хі-квадрат Пірсона]]). В [[Дисперсійний аналіз|дисперсійному аналізі]] однією зі складових, на яку розбивають дисперсію, може бути {{нп|сума квадратів браку допасованості|||Lack-of-fit sum of squares}}.

== Допасованість розподілів ==

При оцінюванні того, чи підходить даний розподіл до набору даних, можливо використовувати наступні [[Перевірка статистичних гіпотез|критерії]] та міри допасованості, що лежать в їх основі:

* [[Баєсів інформаційний критерій]]
* [[Критерій Колмогорова — Смирнова]]
* {{нп|Критерій Крамера — фон Мізеса|||Cramér–von Mises criterion}}
* [[Критерій Андерсона — Дарлінга]]
* {{нп|Критерій Шапіро — Вілка|||Shapiro–Wilk test}}
* [[Критерій хі-квадрат]]
* [[Інформаційний критерій Акаіке]]
* {{нп|Критерій Госмера — Лемешова|||Hosmer–Lemeshow test}}
* [[Критерій Куйпера]]
* Ядрована незгідність Штайна ({{lang-en|kernelized Stein discrepancy}})<ref>{{cite conference |url=http://proceedings.mlr.press/v48/liub16.html |title=A Kernelized Stein Discrepancy for Goodness-of-fit Tests |last1=Liu |first1=Qiang |last2=Lee |first2=Jason |last3=Jordan |first3=Michael |date=20 червня 2016 |publisher=Proceedings of Machine Learning Research |booktitle=Proceedings of the 33rd International Conference on Machine Learning |pages=276–284 |location=New York, New York, USA |conference=The 33rd International Conference on Machine Learning |accessdate=18 квітня 2020 |archive-date=1 серпня 2020 |archive-url=https://web.archive.org/web/20200801083635/http://proceedings.mlr.press/v48/liub16.html }} {{ref-en}}</ref><ref>{{cite conference |url=http://proceedings.mlr.press/v48/chwialkowski16.html |title=A Kernel Test of Goodness of Fit |last1=Chwialkowski |first1=Kacper |last2=Strathmann |first2=Heiko |last3=Gretton |first3=Arthur |date=20 червня 2016 |publisher=Proceedings of Machine Learning Research |booktitle=Proceedings of the 33rd International Conference on Machine Learning |pages=2606-2615 |location=New York, New York, USA |conference=The 33rd International Conference on Machine Learning |accessdate=18 квітня 2020 |archive-date=17 лютого 2020 |archive-url=https://web.archive.org/web/20200217205650/http://proceedings.mlr.press/v48/chwialkowski16.html }} {{ref-en}}</ref>
* Критерії Чжана ''Z<sub>K</sub>'', ''Z<sub>C</sub>'' та ''Z<sub>A</sub>'' ({{lang-en|Zhang's Z<sub>K</sub>, Z<sub>C</sub> and Z<sub>A</sub> tests}})<ref>{{cite journal |last1=Zhang |first1=Jin |title=Powerful goodness-of-fit tests based on the likelihood ratio |journal=J. R. Stat. Soc. B |date=2002 |volume=64 |pages=281–294 |url=http://anakena.dcc.uchile.cl/~mnmonsal/eso.pdf |accessdate=5 листопада 2018 |archive-date=23 листопада 2018 |archive-url=https://web.archive.org/web/20181123125926/http://anakena.dcc.uchile.cl/~mnmonsal/eso.pdf }} {{ref-en}}</ref>
* {{нп|Критерій Морана|||Moran test}}

== Регресійний аналіз ==

В [[Регресійний аналіз|регресійному аналізі]] до допасованості мають стосунок такі предмети:

* [[Коефіцієнт детермінації]] (міра допасованості ''R''-квадрат);
* {{нп|Сума квадратів браку допасованості|||Lack-of-fit sum of squares}};
* {{нп|Зменшена статистика хі-квадрат|||Reduced chi-squared statistic}}.
* {{нп|Затверджування регресії|||Regression validation}}
* {{нп|Cp Меллоуза|Критерій ''C<sub>p</sub>'' Меллоуза||Mallows's Cp}}

== Категорійні дані ==

Далі наведено приклади, що виникають у контексті [[Категорійні дані|категорійних даних]].

=== Критерій хі-квадрат Пірсона ===

[[Критерій хі-квадрат Пірсона]] використовує міру допасованості, яка є сумою різниць між спостережуваними та [[Математичне сподівання|очікуваними виходовими]] частотами (тобто, кількостями спостережень), кожну з яких піднесено до квадрату, й поділено на очікувану:

: <math> \chi^2 = \sum_{i=1}^n {\frac{(O_i - E_i)}{E_i}^2}</math> 

де

: ''O<sub>i</sub>'' = спостережувана кількість для засіку ({{lang-en|bin}}) ''i''
: ''E<sub>i</sub>'' = очікувана кількість для засіку ''i'', підтримувана [[Нульова гіпотеза|нульовою гіпотезою]].

Очікувану частоту обчислюють як

: <math>E_i \, = \, \bigg( F(Y_u) \, - \, F(Y_l) \bigg) \, N</math>

де

: ''F''   = [[кумулятивна функція розподілу ймовірності]] для [[Розподіл імовірності|розподілу ймовірності]], що перевіряють.
: ''Y<sub>u</sub>'' = верхня ({{lang-en|upper}}) межа класу ''i'', 
: ''Y<sub>l</sub>'' = нижня ({{lang-en|lower}}) межа класу ''i'',
: ''N'' = розмір вибірки

Отримуване в результаті значення можливо порівнювати з [[Розподіл хі-квадрат|розподілом хі-квадрат]] для визначення допасованості. Розподіл хі-квадрат має (''k'' &minus; ''c'') [[Ступені вільності (статистика)|ступенів вільності]], де ''k'' є числом не порожніх комірок, а ''c'' є числом оцінюваних параметрів розподілу (включно з параметрами положення, масштабу та форми) плюс один. Наприклад, для 3-параметрового [[Розподіл Вейбула|розподілу Вейбула]], ''c'' = 4.

==== Приклад: однакові частоти чоловіків та жінок ====

Наприклад, щоби перевірити гіпотезу, що випадкову вибірку зі 100 людей вибрано із сукупності, в якій чоловіки та жінки є рівними за частотою, спостережуване число чоловіків та жінок порівнюватиметься з теоретичними частотами 50 чоловіків та 50 жінок. Якщо в вибірці було 44 чоловіки та 56 жінок, то

: <math> \chi^2 = {(44 - 50)^2 \over 50} + {(56 - 50)^2 \over 50} = 1.44</math>

Якщо нульова гіпотеза є істинною (тобто, чоловіків та жінок вибирають з рівною частотою у вибірці), то перевірну статистику вибиратимуть з розподілу хі-квадрат з одним [[Ступені вільності (статистика)|ступенем вільності]]. І хоча можна було би очікувати двох ступенів вільності (по одному для чоловіків та жінок), ми мусимо враховувати те, що загальне число чоловіків та жінок є обмеженим (100), і відтак є лише один ступінь вільності (2&nbsp;&minus;&nbsp;1). Або ж, якщо кількість чоловіків є відомою, то кількість жінок є визначеною, і навпаки.

Результат звернення до [[Розподіл хі-квадрат|розподілу хі-квадрат]] для 1 ступеню вільності показує, що [[ймовірність]] спостереження цієї відмінності (або екстремальнішої за цю), якщо чоловіки та жінки є однаково численними в генеральній сукупності, становить приблизно 0.23. Ця ймовірність є вищою за загальноприйнятий критерій [[Статистична значущість|статистичної значущості]] (.001-.05), тож звичайно ми не відкидатимемо нульову гіпотезу про те, що число чоловіків у сукупності є таким же, як і число жінок (тобто, ми розглядатимемо нашу вибірку як таку, що знаходиться в межах того, що ми би очікували для співвідношення чоловіків/жінок 50/50).

Зверніть увагу на припущення, що механізм, який породив цю вибірку, є випадковим, в сенсі незалежного випадкового вибирання з однаковою ймовірністю, тут 0.5 як для чоловіків, так і для жінок. Якщо ж, наприклад, кожен з обраних 44 чоловіків приведе приятеля-чоловіка, й кожна з обраних 56 жінок приведе приятельку-жінку, то кожне <math display="inline">{(O_i - E_i)}^2</math> збільшиться в 4 рази, тоді як кожне <math display="inline">E_i</math> збільшиться в 2 рази. Значення цієї статистики подвоїться до 2.88. Знаючи цей внутрішній механізм, ми, звісно, повинні були би рахувати пари. В загальному випадку, якщо механізм не є обґрунтовано випадковим, він буде невідомим. Розподіл, до якого повинно бути віднесено перевірну статистику, може, відповідно, дуже відрізнятися від розподілу хі-квадрат.<ref>{{cite book |last=Maindonald |first=J. H. |last2=Braun |first2=W. J. |year=2010 |title=Data Analysis and Graphics Using R.  An Example-Based Approach.|location=New York |publisher=Cambridge University Press |edition=Third |isbn=978-0-521-76293-9 |pp=116-118 }} {{ref-en}}</ref>

==== Біноміальний випадок ====

Біноміальний експеримент є послідовністю незалежних проб, у якій проби можуть призводити в результаті до двох виходів, успіху чи відмови. Є ''n'' проб, кожна з імовірністю успіху, позначуваною через ''p''. Якщо ''np''<sub>''i''</sub>&nbsp;≫&nbsp;1 для кожного ''i'' (де ''i''&nbsp;=&nbsp;1,&nbsp;2,&nbsp;...,&nbsp;''k''), то

<math> \chi^2 = \sum_{i=1}^{k} {\frac{(N_i - np_i)^2}{np_i}} = \sum_{\mathrm{all\ cells}}^{} {\frac{(\mathrm{O} - \mathrm{E})^2}{\mathrm{E}}}.</math>

Це приблизно має розподіл хі-квадрат з ''k''&nbsp;&minus;&nbsp;1 ступенями вільності. Той факт, що ступенів вільності є ''k''&nbsp;&minus;&nbsp;1, є наслідком обмеження <math>\sum N_i=n</math>. Ми знаємо, що є ''k'' спостережуваних лічильників клітин, проте щойно стають відомими будь-які ''k''&nbsp;&minus;&nbsp;1, то один, що лишився, визначається однозначно. В принципі, можна сказати, що є лише ''k''&nbsp;&minus;&nbsp;1 лічильників клітин, що визначаються вільно, звідси ''k''&nbsp;&minus;&nbsp;1 ступенів вільності.

== ''G''-критерій ==

{{нп|G-критерій|''G''-критерії||G-test}} є перевірками [[Статистична значущість|статистичної значущості]] [[Перевірка відношенням правдоподібностей|відношенням правдоподібностей]], які все ширше застосовують у ситуаціях, в яких раніше радили критерії хі-квадрат Пірсона.<ref>{{cite book|author=McDonald, J.H.|year=2014|title=Handbook of Biological Statistics|location=Baltimore, Maryland|publisher=Sparky House Publishing|edition=Third|chapter=G–test of goodness-of-fit|url=http://www.biostathandbook.com/gtestgof.html|pages=53–58|accessdate=18 квітня 2020|archive-date=26 травня 2020|archive-url=https://web.archive.org/web/20200526033954/http://www.biostathandbook.com/gtestgof.html}} {{ref-en}}</ref>

Загальною формулою ''G'' є

: <math> G = 2\sum_{i} {O_{i} \cdot \ln\left(\frac{O_i}{E_i}\right)}, </math>

де <math display="inline">O_i</math> та <math display="inline">E_i</math> є тим же, що й для критерію хі-квадрат, <math display="inline">\ln</math> позначує [[натуральний логарифм]], а суму беруть над усіма не порожніми комірками. Крім того, загальна спостережена кількість повинна дорівнювати загальній очікуваній кількості:<math display="block">\sum_i O_i = \sum_i E_i = N</math>де <math display="inline">N</math> є загальним числом спостережень.

''G''-критерії почали радити щонайменше починаючи з випуску популярного статистичного підручника {{нп|Роберт Р. Сокал|Роберта Р. Сокала||Robert R. Sokal}} та {{нп|Ф. Джеймс Рольф|Ф. Джеймса Рольфа||F. James Rohlf}} 1981 року.<ref>{{cite book |last=Sokal |first=R. R. |last2=Rohlf |first2=F. J. |year=1981 |title=Biometry: The Principles and Practice of Statistics in Biological Research |publisher={{нп|W. H. Freeman}} |edition=Second |isbn=0-7167-2411-1 |url-access=registration |url=https://archive.org/details/biometryprincipl00soka_0 }} {{ref-en}}</ref>

== Див. також ==
* {{нп|Всі моделі є неправильними|||All models are wrong}}
* {{нп|Девіантність (статистика)|||Deviance (statistics)}} (пов'язана з {{нп|Узагальнена лінійна модель|УЛМ||Generalized linear model}})
* [[Перенавчання]]
* [[Затверджування статистичної моделі]]
* {{нп|Оцінювач Тейла — Сена|||Theil–Sen estimator}}
* [[Функція допасованості]]

== Примітки ==
{{Примітки}}

== Література ==
* {{Карташов.Імовірність процеси статистика}}
* {{Гнеденко.Курс теории вероятностей}}
* {{Гіхман.Скороход.Ядренко}}
* {{citation| editor1-first= C. | editor1-last= Huber-Carol |  editor2-first=  N.  | editor2-last=Balakrishnan |  editor3-first= M. S. | editor3-last= Nikulin |  editor4-first= M.  | editor4-last= Mesbah | title= Goodness-of-Fit Tests and Model Validity | publisher= [[Springer Science+Business Media|Springer]] | year= 2002}} {{ref-en}}
* {{citation | first1= Yu. I. | last1= Ingster | first2= I. A. | last2= Suslina | title= Nonparametric Goodness-of-Fit Testing Under Gaussian Models | year= 2003 | publisher= [[Springer Science+Business Media|Springer]] }} {{ref-en}}
* {{citation | first1= J. C. W. | last1= Rayner | first2= O. | last2= Thas | first3= D. J. | last3=  Best | title= Smooth Tests of Goodness of Fit | publisher= [[John Wiley & Sons|Wiley]] | year= 2009 | edition= 2nd}} {{ref-en}}
* {{citation | author1-first= Albert | author1-last= Vexlera | author2-first= Gregory | author2-last= Gurevich | title= Empirical likelihood ratios applied to goodness-of-fit tests based on sample entropy | journal= {{нп|Computational Statistics & Data Analysis}} | year= 2010 | volume= 54 | pages= 531-545 | doi= 10.1016/j.csda.2009.09.025 }} {{ref-en}}

[[Категорія:Математична статистика]]