Допасованість (статистика)

Шаблон:More citations needed Шаблон:Регресійний аналіз Допасо́ваність (Шаблон:Lang-en) статистичної моделі описує, наскільки добре її допасовано до набору спостережень. Міри допасованості зазвичай роблять підсумок незгідності між спостережуваними значеннями та значеннями, очікуваними за моделі, що розглядають. Такі міри можливо використовувати в перевірці статистичних гіпотез, наприклад, для перевірки нормальності залишків, для перевірки того, чи дві вибірки вибрано з ідентичних розподілів (див. критерій Колмогорова — Смирнова), чи для перевірки того, чи слідують виходові частоти певному розподілові (див. критерій хі-квадрат Пірсона). В дисперсійному аналізі однією зі складових, на яку розбивають дисперсію, може бути Шаблон:Нп.

Допасованість розподілів

При оцінюванні того, чи підходить даний розподіл до набору даних, можливо використовувати наступні критерії та міри допасованості, що лежать в їх основі:

• Баєсів інформаційний критерій
• Критерій Колмогорова — Смирнова
• Шаблон:Нп
• Критерій Андерсона — Дарлінга
• Шаблон:Нп
• Критерій хі-квадрат
• Інформаційний критерій Акаіке
• Шаблон:Нп
• Критерій Куйпера
• Ядрована незгідність Штайна (Шаблон:Lang-en)
• Критерії Чжана Z_K, Z_C та Z_A (Шаблон:Lang-en)
• Шаблон:Нп

Регресійний аналіз

В регресійному аналізі до допасованості мають стосунок такі предмети:

• Коефіцієнт детермінації (міра допасованості R-квадрат);
• Шаблон:Нп;
• Шаблон:Нп.
• Шаблон:Нп
• Шаблон:Нп

Категорійні дані

Далі наведено приклади, що виникають у контексті категорійних даних.

Критерій хі-квадрат Пірсона

Критерій хі-квадрат Пірсона використовує міру допасованості, яка є сумою різниць між спостережуваними та очікуваними виходовими частотами (тобто, кількостями спостережень), кожну з яких піднесено до квадрату, й поділено на очікувану:

${\chi }^2=\sum _{i=1}^n{\frac{(O_i-E_i)}{E_i}}^2$

де

O_i = спостережувана кількість для засіку (Шаблон:Lang-en) i

E_i = очікувана кількість для засіку i, підтримувана нульовою гіпотезою.

Очікувану частоту обчислюють як

$E_i=(F(Y_u)-F(Y_l))N$

де

F = кумулятивна функція розподілу ймовірності для розподілу ймовірності, що перевіряють.

Y_u = верхня (Шаблон:Lang-en) межа класу i,

Y_l = нижня (Шаблон:Lang-en) межа класу i,

N = розмір вибірки

Отримуване в результаті значення можливо порівнювати з розподілом хі-квадрат для визначення допасованості. Розподіл хі-квадрат має (k − c) ступенів вільності, де k є числом не порожніх комірок, а c є числом оцінюваних параметрів розподілу (включно з параметрами положення, масштабу та форми) плюс один. Наприклад, для 3-параметрового розподілу Вейбула, c = 4.

Приклад: однакові частоти чоловіків та жінок

Наприклад, щоби перевірити гіпотезу, що випадкову вибірку зі 100 людей вибрано із сукупності, в якій чоловіки та жінки є рівними за частотою, спостережуване число чоловіків та жінок порівнюватиметься з теоретичними частотами 50 чоловіків та 50 жінок. Якщо в вибірці було 44 чоловіки та 56 жінок, то

${\chi }^2=\frac{(44-50{)}^2}{50}+\frac{(56-50{)}^2}{50}=1.44$

Якщо нульова гіпотеза є істинною (тобто, чоловіків та жінок вибирають з рівною частотою у вибірці), то перевірну статистику вибиратимуть з розподілу хі-квадрат з одним ступенем вільності. І хоча можна було би очікувати двох ступенів вільності (по одному для чоловіків та жінок), ми мусимо враховувати те, що загальне число чоловіків та жінок є обмеженим (100), і відтак є лише один ступінь вільності (2 − 1). Або ж, якщо кількість чоловіків є відомою, то кількість жінок є визначеною, і навпаки.

Результат звернення до розподілу хі-квадрат для 1 ступеню вільності показує, що ймовірність спостереження цієї відмінності (або екстремальнішої за цю), якщо чоловіки та жінки є однаково численними в генеральній сукупності, становить приблизно 0.23. Ця ймовірність є вищою за загальноприйнятий критерій статистичної значущості (.001-.05), тож звичайно ми не відкидатимемо нульову гіпотезу про те, що число чоловіків у сукупності є таким же, як і число жінок (тобто, ми розглядатимемо нашу вибірку як таку, що знаходиться в межах того, що ми би очікували для співвідношення чоловіків/жінок 50/50).

Зверніть увагу на припущення, що механізм, який породив цю вибірку, є випадковим, в сенсі незалежного випадкового вибирання з однаковою ймовірністю, тут 0.5 як для чоловіків, так і для жінок. Якщо ж, наприклад, кожен з обраних 44 чоловіків приведе приятеля-чоловіка, й кожна з обраних 56 жінок приведе приятельку-жінку, то кожне ${(O_i-E_i)}^2$ збільшиться в 4 рази, тоді як кожне $E_i$ збільшиться в 2 рази. Значення цієї статистики подвоїться до 2.88. Знаючи цей внутрішній механізм, ми, звісно, повинні були би рахувати пари. В загальному випадку, якщо механізм не є обґрунтовано випадковим, він буде невідомим. Розподіл, до якого повинно бути віднесено перевірну статистику, може, відповідно, дуже відрізнятися від розподілу хі-квадрат.

Біноміальний випадок

Біноміальний експеримент є послідовністю незалежних проб, у якій проби можуть призводити в результаті до двох виходів, успіху чи відмови. Є n проб, кожна з імовірністю успіху, позначуваною через p. Якщо np_i ≫ 1 для кожного i (де i = 1, 2, ..., k), то

${\chi }^2=\sum _{i=1}^k\frac{(N_i-n{p}_i{)}^2}{n{p}_i}=\sum _{\mathrm{a}\mathrm{l}\mathrm{l}\mathrm{c}\mathrm{e}\mathrm{l}\mathrm{l}\mathrm{s}}^{}\frac{(\mathrm{O}-\mathrm{E}{)}^2}{\mathrm{E}}.$

Це приблизно має розподіл хі-квадрат з k − 1 ступенями вільності. Той факт, що ступенів вільності є k − 1, є наслідком обмеження $\sum N_i=n$. Ми знаємо, що є k спостережуваних лічильників клітин, проте щойно стають відомими будь-які k − 1, то один, що лишився, визначається однозначно. В принципі, можна сказати, що є лише k − 1 лічильників клітин, що визначаються вільно, звідси k − 1 ступенів вільності.

G-критерій

Шаблон:Нп є перевірками статистичної значущості відношенням правдоподібностей, які все ширше застосовують у ситуаціях, в яких раніше радили критерії хі-квадрат Пірсона.

Загальною формулою G є

$G=2\sum _i{O}_i\cdot \ln \left(\frac{O_i}{E_i}\right),$

де $O_i$ та $E_i$ є тим же, що й для критерію хі-квадрат, $\ln$ позначує натуральний логарифм, а суму беруть над усіма не порожніми комірками. Крім того, загальна спостережена кількість повинна дорівнювати загальній очікуваній кількості:$$\sum _i{O}_i=\sum _i{E}_i=N$$де $N$ є загальним числом спостережень.

G-критерії почали радити щонайменше починаючи з випуску популярного статистичного підручника Шаблон:Нп та Шаблон:Нп 1981 року.

Див. також

• Шаблон:Нп
• Шаблон:Нп (пов'язана з Шаблон:Нп)
• Перенавчання
• Затверджування статистичної моделі
• Шаблон:Нп
• Функція допасованості

Література

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Шаблон:Citation Шаблон:Ref-en
• Шаблон:Citation Шаблон:Ref-en
• Шаблон:Citation Шаблон:Ref-en
• Шаблон:Citation Шаблон:Ref-en