Перегляд вихідного коду сторінки Регресійний аналіз

{{Регресійний аналіз}}
{{Машинне навчання|Задачі}}
'''Регресі́йний ана́ліз'''&nbsp;— розділ [[математична статистика|математичної статистики]], присвячений методам аналізу залежності однієї величини від іншої. На відміну від [[кореляційний аналіз|кореляційного аналізу]] не з'ясовує [[істотний зв'язок]], а займається пошуком моделі цього зв'язку, вираженої у функції регресії.

Регресійний аналіз використовується в тому випадку, якщо відношення між змінними можуть бути виражені кількісно у виді деякої комбінації цих змінних. Отримана комбінація використовується для передбачення значення, що може приймати [[залежна змінна|цільова (залежна) змінна]], яка обчислюється на заданому наборі значень вхідних (незалежних) змінних. У найпростішому випадку для цього використовуються стандартні статистичні методи, такі як [[лінійна регресія]]. На жаль, більшість реальних моделей не вкладаються в рамки лінійної регресії. Наприклад, розміри продажів чи фондові ціни дуже складні для передбачення, оскільки можуть залежати від комплексу взаємозв'язків множин змінних. Таким чином, необхідні комплексні методи для передбачення майбутніх значень.

==Регресійні моделі==

До регресійної моделі відносяться наступні параметри і змінні:
*'''Невідомі параметри''', що позначаються як <math>\boldsymbol \beta</math>, і які задають [[Скаляр|скаляри]] або [[Вектор (математика)|вектор]].
*'''Незалежні змінні''', <math>\mathbf X</math>.
*'''Залежна змінна''', <math>Y</math>.

У різних сферах застосування, може використовуватися різна термінологія замість понять [[Залежна і незалежна змінні|залежних та незалежних змінних]].

Регресійна модель співвідносить <math>Y</math> до функції по <math>\mathbf X</math> і <math>\boldsymbol \beta</math>.

:<math>Y \approx f (\mathbf X, \boldsymbol \beta)</math>

Наближення зазвичай формалізують як <math>\operatorname E(Y|\mathbf X)=f(\mathbf X, \boldsymbol \beta)</math>. Для проведення регресійного аналізу необхідно визначити форму функції <math>f</math>. Іноді форма функції основана на знаннях про взаємовідношення між <math>Y</math> і <math>\mathbf X</math> і не покладається на дані. Якщо таких знань немає, обирають гнучку або зручну форму для визначення <math>f</math>.

Припустимо, що вектор невідомих параметрів <math>\boldsymbol \beta</math> має довжину <math>k</math>. Для здійснення регресійного аналізу необхідно надати інформацію про залежну змінну <math>Y</math>:
*Якщо спостерігали <math>N</math> точок даних у формі <math>(Y, \mathbf X)</math>, де <math>N < k</math>, більшість класичних методів регресійного аналізу не можна виконати: оскільки система рівнянь, що визначає регресійну модель є недовизначеною, в ній не достатньо даних для відновлення <math>\boldsymbol \beta</math>.
*Якщо спостерігалося точно <math>N=k</math> точок даних, а функція <math>f</math> є лінійною, рівняння <math>Y=f(\mathbf X, \boldsymbol \beta)</math> можна розв'язати точно, а не наближено. Задача спрошується до вирішення множини з <math>N</math> рівнянь із <math>N</math> невідомими (елементами <math>\boldsymbol \beta)</math>, які мають унікальне рішення за умови що <math>\mathbf X</math> лінійно незалежні. Якщо <math>f</math> не є лінійною, рішення може не існувати, або може існувати багато рішень.
*Найбільш типовою ситуацією є випадок, де спостерігають <math>N > k</math> точок даних. В такому випадку, існує достатньо інформації з даних, для того щоб оцінити унікальні значення <math>\boldsymbol \beta</math> які в деякому розумінні підходять найкраще, а регресійна модель у застосування до даних може розглядатися як перевизначена система для <math>\boldsymbol \beta</math>.

В останньому випадку, регресійний аналіз надає засоби для:
#Знаходження рішення щодо невідомих параметрів <math>\boldsymbol \beta</math> які будуть, наприклад, мінімізувати відстань між виміряними і  прогнозованими значеннями залежної змінної <math>Y</math> (що відомо як [[метод найменших квадратів]]).
#При певних статистичних припущеннях, регресійний аналіз використовує надлишок інформації для надання статистичної інформації про невідомі параметри <math>\boldsymbol \beta</math> і передбачені значення залежних змінних <math>Y</math>.
===Необхідна кількість незалежних вимірювань===
Розглянемо регресійну модель, яка має три невідомі параметри, <math>\beta_0</math>, <math>\beta_1</math>, і <math>\beta_2</math>. Припустимо, що експериментатор провів 10 вимірювань всі при точно однаковому значенні вектору незалежних змінних <math>\mathbf X</math> (який містить незалежні змінні <math>X_1</math>, <math>X_2</math>, і <math>X_3</math>). У такому випадку, регресійний аналіз не дозволяє визначити унікальний набір оцінених значень для трьох невідомих параметрів; експериментатор не надав достатньо інформації. Найкраще що можна зробити це оцінити середнє значення [[Стандартне відхилення|стандартного відхилення]] залежної змінної <math>Y</math>. Аналогічним чином, вимірювання при двох різних значеннях <math>\mathbf X</math> дозволило б мати достатньо даних для регресії із двома невідомими, але не з трьома і більше невідомими.

Якщо експериментатор виконав вимірювання при трьох різних значеннях вектору незалежних змінних <math>\mathbf X</math>, тоді регресійний аналіз поверне унікальний набір оцінок для трьох невідомих параметрів у <math>\boldsymbol \beta</math>.

У випадку із загальною лінійною регресією, вищенаведене твердження є еквівалентним вимозі, що матриця <math>\mathbf X^\top \mathbf X</math> повинна бути [[Невироджена матриця|невиродженою]].

Коли кількість вимірювань, <math>N</math>, є більшим ніж кількість невідомих параметрів, <math>k</math>, а виміряні похибки <math>\epsilon_i</math> мають [[нормальний розподіл]] тоді ''надлишок інформації'', що міститься у <math>(N - k)</math> вимірюваннях використовують щоб зробити статистичне передбачення щодо невідомих параметрів. Цей надлишок інформації називають [[Ступені вільності (статистика)|степенями свободи]] регресії.

== Задачі регресійного аналізу ==
# Визначення ступеня детермінованості варіації критеріальної (залежної) змінної предикторами (незалежними змінними).
# Прогнозування значення залежної змінної за допомогою незалежної.
# Визначення внеску окремих незалежних змінних у варіацію залежної.

Регресійний аналіз не можна використовувати для визначення наявності зв'язку між змінними, оскільки наявність такого зв'язку і є передумова для застосування аналізу.

==Припущення==
До класичних {{нп|Статистичне припущення|припущень|en|statistical assumption}}, що лежать в основі регресійного аналізу, відносяться:
* Для здійснення прогнозування вибірка повинна бути репрезентативна для даної сукупності.
* Похибка є [[Випадкова величина|випадковою величиною]] із нульовим умовним математичним сподіванням для [[Залежна_і_незалежна_змінні#Статистичні_синоніми|описових змінних]].
* Незалежні змінні виміряні без похибки. (Примітка: Якщо це не так, замість цього можна використати техніки {{нп|моделювання похибки величин||en|errors-in-variables model}}).
* Незалежні змінні є [[Лінійно незалежні вектори|лінійно незалежними]], (відсутність [[Мультиколінеарність|мультиколінеарності]]). Тобто, не можливо виразити будь-яку з цих змінних як лінійну комбінацію інших змінних. 
* Похибки є [[Кореляція|некореловані]], тобто, [[Коваріаційна матриця|коваріаційна матриця]] похибок є [[Діагональна матриця|діагональною]], а елементи на діагоналі матриці є дисперсією похибки.
* Дисперсія похибки є сталою поміж спостережень ([[гомоскедастичність]]). 
Виконання цих умов достатньо щоб оцінка найменших квадратів мала бажані властивості; зокрема, ці припущення означатимуть, що оцінки параметрів будуть [[Незміщена оцінка|незміщеними]], [[Конзистентна оцінка|конзистентними]], і {{нп|Ефективність (статистика)|ефективними|en|efficient (statistics)}} у класі лінійних незміщених оцінок. Варто відмітити, що фактичні дані вимірювань дуже рідко задовольняють припущенням. Таким чином, метод використовують навіть коли припущення не правдиві. Відхилення від даних припущень, іноді використовують як міру того, наскільки корисною є дана модель. Багато з цих припущень можуть бути пом'якшені при ширшому трактуванні. У результатах статистичного аналізу як правило наводять результати тестів вибіркових даних та методологію щодо відповідності і вживаності моделі.

== Алгоритм регресійного аналізу ==
<!-- Нехай маємо випадкову величину <math>\xi \in \mathbb{R}^p</math> та <math>\eta</math> що залежить від попередньої. <math>X(k)</math>&nbsp;— реалізації випадкової величини <math>\xi</math>. -->
Нехай у точках '''x<sub>n</sub>''' незалежної змінної '''x''' отримані виміри '''Y<sub>n</sub>'''. Потрібно знайти залежність середнього значення величини <math>\bar Y</math>від величини '''х''', тобто <math>\bar Y (x)=f(x|a)</math>, де '''a'''&nbsp;— вектор невідомих параметрів <math>a_i</math>. Функцію <math>f(x|a)</math> називають функцією регресії. Звичайно припускають, що <math>f(x|a)</math> є лінійною функцією параметрів '''а''', тобто має вигляд:
: <math>f(x|a)=\sum_{i=1}^I a_i \varphi_i(x)</math> (1),
де <math>f_i(x)</math>&nbsp;— задані функції.

У цьому випадку матрицю <math>A_{ni}=f_i(x_n)</math> називається регресійною матрицею.

Для визначення параметрів <math>a_i</math> звичайно використовують [[метод найменших квадратів]], тобто оцінки <math>a_i</math> визначають із умови мінімуму [[функціонал]]а:
: <math>\Phi= \sum_{n=1}^N \frac{(Y_n- \sum_{i}^{ } A_{ni}a_i)^2}{\sigma_n^2}</math>

і з мінімуму функціоналу:<math>\Phi=\sum_{n,m} (Y_n- \sum_{i} A_{ni}a_i)(R^{-1})_{nm} (Y_m-\sum_{i} A_{mi}a_i)</math> для корельованих вимірів з кореляційною матрицею ''R''.

Як функції <math>f_i(x)</math> при невеликих <math>I(I \ge 5)</math> звичайно служать [[степенева функція|степеневі функції]] <math>f_i(x)= x^i</math>. Часто використовують [[ортогональні многочлени|ортогональні]] й нормовані поліноми на множині <math>x_n</math>:
: <math>\varphi_i(x)= \sum_{k=1}^i c_k^ix^k, \sum_{n} \varphi_i(x_n)\sigma_n^{-2}\varphi_j(x_n)=\delta_{ij}</math>.

У цьому випадку легко знайти оцінку <math>\tilde{a}_i</math>:
: <math>\tilde{a}_i=\sum_{n} \varphi_i(x_n)Y_n</math>.

Звідси випливає, що обчислення <math>\tilde{a}_i</math> не залежить від обчислення інших <math>\tilde{a}_j</math>.

Популярне використання як <math>f_i(x)</math> [[сплайн]]ів <math>B_i(x)</math>, які мають дві основні властивості:
# <math>B_i(x)</math>&nbsp;— поліном заданого степеня;
# <math>B_i(x)</math> відмінний від нуля в околі точки <math>x_i</math>.

При пошуку функції регресії у вигляді (1) природно виникає питання про кількість членів '''I''' у сумі (1). При малому значенні '''I''' не можна досягти гарного опису <math>\bar Y(x)</math>, а при великому&nbsp;— великі статистичні помилки функції регресії.

==Інтерполяція і екстраполяція==
[[File:CurveWeightHeight.png|thumb|right|370px|По середині показано пряму, що є результатом інтерполяції - збалансована середина між точками над і під прямою. Пунктиром показано дві лінії екстремумів. Перша крива показує оцінені значення. Зовнішні криві показують передбачення нових вимірювань<ref>{{cite book |last=Rouaud |first=Mathieu |title=Probability, Statistics and Estimation|year=2013 |page=60 |url=http://www.incertitudes.fr/book.pdf }}</ref>.]]

Регресійні моделі передбачають значення змінної ''Y'' на основі заданих значень змінних ''X''. Процедура підбору параметрів моделі з використанням передбачення на основі вибірки даних в межах діапазону її значень відомо як [[інтерполяція]]. Передбачення ''за межами'' діапазону значень даних відомо як [[екстраполяція]]. Виконання екстраполяції тісно залежить від регресійних припущень. Чим далі екстраполяція поширюються від даних, тим більшою буде відхилення моделі від реальних значень.

При виконанні екстраполяції, як правило рекомендують, передбачені значення слід супроводжувати довірчим інтервалом прогнозування, який задає міру невпевненості. Такі інтервали мають тенденцію значно розширюватися коли значення незалежної величини (або величин) виходять за межі діапазону, що покривали дані спостереження. З цієї та інших причин не можна бездумно використовувати дані екстраполяції.<ref>Chiang, C.L, (2003) ''Statistical methods of analysis'', World Scientific. {{isbn|981-238-310-7}} - [https://books.google.com/books?id=BuPNIbaN5v4C&lpg=PA274&dq=regression%20extrapolation&pg=PA274#v=onepage&q=regression%20extrapolation&f=false page 274 section 9.7.4 "interpolation vs extrapolation"]</ref>

Однак, такі інтервали не покривають усієї множини можливих помилок моделювання, що можуть виникнути: зокрема, припущення існування певної форми залежності між величинами ''Y'' і ''X''. Якісно проведений регресійний аналіз буде мати також оцінку того, наскільки припущена форма залежності відповідає цим спостереження, але тільки в межах діапазону значень наявних незалежних змінних. Це означає, що будь-яка екстраполяція значно залежить від припущень щодо структурної форми регресійної залежності. Не слід обирати залежність лінійності за змінними і лінійність за параметрами лише з міркувань зручності розрахунків, для побудови моделі слід залучати всі доступні знання. Якщо відомо, що залежні змінні не можуть вийти за межі певного діапазону значень, це може стати корисним при виборі моделі – навіть якщо в отриманій вибірці не має значень близьких до таких меж. Вплив цього кроку на вибір правильної форми функції для регресії може бути досить важливим, якщо передбачається екстраполяція. Як мінімум, це може запевнити що будь-яка екстраполяція на основі підібраної моделі буде "реалістичною" (або відповідає тому, що відомо).

== Регресійний аналіз в Excel/Calc ==
MS Excel має можливості для розрахунку коефіцієнту регресії. Для цього потрібно додатково встановити «Пакет аналізу» в надбудовах.

== Див. також ==
* Регресійний аналіз в Excel. Приклад та покрокова інструкція. [http://analytics.at.ua/news/regresijnij_analiz_v_excel/2012-05-19-74 «Аналітика і статистика». ]
* [[Логістична регресія]]
* [[Аналіз Вільсона]]

== Примітки ==
{{Примітки}}

{{перекласти|en|Regression analysis|дата=січень 2022}}

{{Статистика|кореляція}}
{{Диференційовні обчислення}}

[[Категорія:Математична статистика]]
[[Категорія:Регресійний аналіз]]
[[Категорія:Типи статистичних даних]]