Перегляд вихідного коду сторінки Поліноміальна регресія

{{Регресійний аналіз}}
У [[Статистика|статистиці]], '''поліноміальна регресія''' є однією з форм [[регресійний аналіз|регресійного аналізу]], в якому залежність між [[Залежна і незалежна змінні|незалежною змінною]] ''x'' і [[Залежна і незалежна змінні|залежною змінною]] ''y'' моделюється як [[Многочлен|поліном]] від ''x'' ступеню ''n''. Поліноміальна регресія відповідає нелінійній залежності між значенням ''x'' та відповідним [[Умовне математичне сподівання|умовним математичним сподіванням]] ''y'', що позначається E(''y''&nbsp;|''x''). Хоча ''поліноміальна регресія'' налаштовує нелінійній моделі даних, з боку [[Теорія оцінювання|теорії оцінювання]] ця задача є лінійною, в тому сенсі, що функція регресії E(''y'' | ''x'') є лінійною за невідомих [[параметр]]ів які оцінюються за [[Дані|даними]]. З цього приводу поліноміальна регресія вважається приватним випадком [[Лінійна регресія|множинної лінійної регресії]].

Пояснювальні (незалежні) змінні, що є результатом поліноміального розширення «базових» змінних, відомі як терміни вищого ступеня. Такі змінні також використовуються в налаштуваннях [[Класифікація|класифікації]].<ref name="Chang2010">{{cite journal |author1=Yin-Wen Chang |author2=Cho-Jui Hsieh |author3=Kai-Wei Chang |author4=Michael Ringgaard |author5=Chih-Jen Lin |year=2010 |url=http://jmlr.csail.mit.edu/papers/v11/chang10a.html |title=Training and testing low-degree polynomial data mappings via linear SVM |journal=[[Journal of Machine Learning Research]] |volume=11 |pages=1471–1490 |accessdate=15 листопада 2020 |archive-date=21 листопада 2020 |archive-url=https://web.archive.org/web/20201121115812/https://jmlr.csail.mit.edu/papers/v11/chang10a.html }}</ref>

== Історія ==

Поліноміальні регресійні моделі, як правило, налаштовують за допомогою [[Метод найменших квадратів|методу найменших квадратів]]. Метод найменших квадратів мінімізує [[Дисперсія випадкової величини|дисперсію]] [[Незміщена оцінка|незміщених оцінок]] коефіцієнтів за умов [[Теорема Гаусса — Маркова|теореми Гаусса-Маркова]]. Метод найменших квадратів був опублікований в 1805 році [[Адрієн-Марі Лежандр|Лежандром]] і в 1809 році [[Карл Фрідріх Гаусс|Гауссом]]. Перший [[Планування експерименту|опис експерименту]] для поліноміальної регресії з'явився в 1815 році у статті [[Жергонна]].<ref>{{cite journal | title=The application of the method of least squares to the interpolation of sequences |author=Gergonne, J. D. |journal=Historia Mathematica |volume=1 | issue=4 |date=November 1974 |origyear=1815 |pages=439&ndash;447 |edition=Translated by Ralph St. John and [[Stephen M. Stigler|S. M. Stigler]] from the 1815 French | doi=10.1016/0315-0860(74)90034-2 |author-link=Joseph Diaz Gergonne }}</ref><ref>{{cite journal | title=Gergonne's 1815 paper on the design and analysis of polynomial regression experiments | author=Stigler, Stephen M. |journal=Historia Mathematica | volume=1 |issue=4 |date=November 1974 |pages=431&ndash;439 | doi=10.1016/0315-0860(74)90033-0| author-link=Stephen M. Stigler }}</ref> У ХХ столітті поліноміальна регресія відіграла важливу роль у розвитку [[Регресійний аналіз|регресійного аналізу]], з більшим акцентом на питаннях [[Планування експерименту]] та [[Статистичне висновування|статистичному висновуванні]].<ref>{{cite journal | author=[http://www.webdoe.cc/publications/kirstine.php Smith, Kirstine] | title=On the Standard Deviations of Adjusted and Interpolated Values of an Observed Polynomial Function and its Constants and the Guidance They Give Towards a Proper Choice of the Distribution of the Observations | year=1918 | journal=Biometrika | volume=12 | issue=1/2 | pages=1–85 | jstor=2331929 | doi=10.2307/2331929 | url=https://zenodo.org/record/1431591 | accessdate=15 листопада 2020 | archive-date=31 жовтня 2020 | archive-url=https://web.archive.org/web/20201031081506/https://zenodo.org/record/1431591 }}</ref> Зовсім недавно використання поліноміальних моделей було доповнено іншими методами, причому неполіноміальні моделі мають переваги для деяких класів задач.{{Citation needed|date=March 2018}}

== Визначення та приклад ==
[[Файл:Polyreg scheffe uk.svg|thumb|325px|Кубічна поліноміальна регресія, допасована до зімітованого набору даних. [[Довірча та прогнозна смуги|Довірча смуга]] є одночасно 95&nbsp;%-вою довірчою смугою, побудованою з використанням підходу {{нп|Метод Шеффе|Шеффе||Scheffé's method}}.]]

Метою регресійного аналізу є моделювання очікуваного значення залежної змінної y через значення незалежної змінної (або вектора незалежних змінних) ''x''. У простій лінійній регресії використовується модель

: <math>
y = \beta_0 + \beta_1 x + \varepsilon, \,
</math>

де ''ε'' невизначена випадкова помилка із середнім нулем, обумовленим [[скаляр]]ною змінною ''x''. У цій моделі для кожної одиниці збільшення значення ''x'', умовне сподівання ''y'' збільшується на ''β''<sub>1</sub> одиниць.

У багатьох умовах такий лінійний зв'язок може не мати місце. Наприклад, якщо ми моделюємо вихід хімічного синтезу з точки зору температури, при якій відбувається синтез, ми можемо виявити, що вихід поліпшується за рахунок збільшення кількості для кожної одиниці підвищення температури. У цьому випадку ми можемо запропонувати квадратичну модель форми

: <math>
y = \beta_0 + \beta_1x + \beta_2 x^2 + \varepsilon. \,
</math>

У цій моделі при підвищенні температури від ''x'' до ''x''&nbsp;+&nbsp;1 одиниць очікуваний вихід змінюється на <math>\beta_1+\beta_2(2x+ 1).</math> (Це можна побачити, замінивши ''x'' у цьому рівнянні на ''x''+1 і віднявши рівняння з ''x'' з рівняння з ''x''+1.) Для [[Нескінченно мала величина|нескінченно малих]] змін ''x'', вплив на ''y'' дається [[Повна похідна|повною похідною]] по ''x'': <math>\beta_1+2\beta_2x.</math>. Той факт, що зміна результату залежить від ''x'' є тим, що робить зв'язок між ''x'' та ''y'' нелінійним, навіть незважаючи на те, що модель є лінійною за параметрами, що підлягають оцінці.

Загалом, ми можемо змоделювати очікуване значення ''y'' як поліном ступеню ''n'', отримуючи загальну модель поліноміальної регресії

: <math>
y = \beta_0 + \beta_1 x + \beta_2 x^2 + \beta_3 x^3 + \cdots + \beta_n x^n + \varepsilon. \, 
</math>

Зручно, всі ці моделі є лінійними з точки зору [[Теорія оцінювання|оцінки]], оскільки функція регресії є лінійною з точки зору невідомих параметрів ''β''<sub>0</sub>, ''β''<sub>1</sub>,&nbsp;…. Таким чином, для аналізу методом [[Метод найменших квадратів|найменших квадратів]], обчислювальні та виведені задачі поліноміальної регресії можут бути повністю вирішені за допомогою методів [[Лінійна регресія|лінійної регресії]]. Це робиться шляхом обробки ''x'',&nbsp;''x''<sup>2</sup>,&nbsp;… як окремих незалежних змінних у моделі множинної регресії.

== Матрична форма та розрахунок оцінок ==

Модель поліноміальної регресії

: <math>y_i \,=\, \beta_0 + \beta_1 x_i + \beta_2 x_i^2 + \cdots + \beta_m x_i^m + \varepsilon_i\  (i = 1, 2, \dots , n) </math>

може бути виражена у матричній формі через матрицю проектування <math>\mathbf{X}</math>, вектор відповіді <math>\vec y</math>, вектор параметрів <math>\vec \beta</math> та вектор <math>\vec\varepsilon</math> випадкових помилок. ''I''-тий рядок <math>\mathbf{X}</math> and <math>\vec y</math> міститиме значення ''x'' та ''y'' для ''i''-го рядка вибірки даних. Тоді модель можна записати як [[Система лінійних алгебраїчних рівнянь|систему лінійних рівнянь]]:

: <math> \begin{bmatrix} y_1\\ y_2\\ y_3 \\ \vdots \\ y_n \end{bmatrix}= \begin{bmatrix} 1 & x_1 & x_1^2 & \dots & x_1^m \\ 1 & x_2 & x_2^2 & \dots & x_2^m \\ 1 & x_3 & x_3^2 & \dots & x_3^m \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_n & x_n^2 & \dots & x_n^m \end{bmatrix} \begin{bmatrix} \beta_0\\ \beta_1\\ \beta_2\\ \vdots \\ \beta_m \end{bmatrix} + \begin{bmatrix} \varepsilon_1\\ \varepsilon_2\\ \varepsilon_3 \\ \vdots \\ \varepsilon_n \end{bmatrix}, </math>

що при використанні чисто матричної нотації записується як

: <math>\vec y = \mathbf{X} \vec \beta + \vec\varepsilon. \,</math>

Вектор розрахункових коефіцієнтів поліноміальної регресії (за допомогою [[Оцінка (математика)|оцінки]] [[Метод найменших квадратів|звичайних найменших квадратів]]) становить

: <math>\widehat{\vec \beta} = (\mathbf{X}^\mathsf{T} \mathbf{X})^{-1}\; \mathbf{X}^\mathsf{T} \vec y, \,</math>

припускаючи ''m'' < ''n'' щоб матриця була оборотною, оскільки <math>\mathbf{X}</math> є [[Визначник Вандермонда|визначником Вандермонда]], умова оберненості гарантовано буде виконуватися, якщо всі значення <math>x_i</math> різні. Це унікальне рішення методом найменших квадратів.

== Інтерпретація ==

Хоча поліноміальна регресія технічно є частковим випадком багаторазової лінійної регресії, інтерпретація побудованої моделі поліноміальної регресії вимагає дещо іншої перспективи. Часто буває важко інтерпретувати окремі коефіцієнти в поліноміальній регресії, оскільки основні одночлени можуть бути високо корельованими. Наприклад, ''x'' та ''x''<sup>2</sup> мають кореляцію близько 0.97 коли ''x'' [[Неперервний рівномірний розподіл|рівномірно розподіляється]] на інтервалі (0, 1). Хоча кореляцію можна зменшити за допомогою [[Ортогональні поліноми|ортогональних поліномів]], загалом більш інформативно розглядати побудовану функцію регресії в цілому. Поточкові або одночасні [[Довірча та прогнозна смуги|довірчі смуги]] потім можуть бути використані для забезпечення відчуття невизначеності в оцінці функції регресії.

== Альтернативні підходи ==

Поліноміальна регресія є одним із прикладів регресійного аналізу з використанням [[Базисна функція|базисних функцій]] для моделювання [[Функціональна залежність|функціональної залежності]] між двома величинами. Більш конкретно, вона замінює <math>x \in \mathbb R^{d_x}</math> в лінійній регресії з поліноміальною основою <math>\varphi (x) \in \mathbb R^{d_\varphi}</math>, наприклад, <math>[1,x] \mathbin{\stackrel{\varphi}{\rightarrow}} [1,x,x^2,\ldots,x^d]</math>. Недоліком поліноміальних основ є те, що базисні функції є «нелокальними», тобто налаштоване значення ''y'' при заданому значенні ''x''&nbsp;=&nbsp;''x''<sub>0</sub> сильно залежить від значень даних з ''x'' далеких від ''x''<sub>0</sub>.<ref>Така «нелокальна» поведінка є властивістю [[Аналітична функція|аналітичних функцій]], які не є постійними (всюди). Така «нелокальна» поведінка широко обговорюється в статистиці: * {{cite journal | doi=10.2307/2685560 | last=Magee | first=Lonnie | journal=The American Statistician | title=Nonlocal Behavior in Polynomial Regressions | url=https://archive.org/details/sim_american-statistician_1998-02_52_1/page/20 | volume=52 | year=1998 | jstor=2685560 | pages=20–22 | issue=1 }}</ref> У сучасній статистиці поліноміальні базисні функції використовуються поряд з новими базисними функціями, такими як [[сплайн]]и, [[Радіальна базисна функція|радіальна базисні функції]] та [[вейвлет]]и. Ці сімейства базисних функцій пропонують більш ощадливу налаштованість багатьом типам даних.

Метою поліноміальної регресії є моделювання нелінійної залежності між незалежними та залежними змінними (технічно, між незалежною змінною та умовним середнім значенням залежної змінної). Це схоже на мету [[непараметричної регресії]], яка спрямована на охоплення нелінійних відношень регресії<!-- ; nonparametric regression is als useful when the error distribution is unknown (and not just for possibly non-Gaussian error distributions)-->. Тому непараметричні підходи до регресії, такі як [[згладжування]] можуть бути корисними альтернативами поліноміальної регресії. Деякі з цих методів використовують локалізовану форму класичної поліноміальної регресі.<ref>{{cite book | last=Fan | first=Jianqing | year=1996 | title=Local Polynomial Modelling and Its Applications: From linear regression to nonlinear regression | series=Monographs on Statistics and Applied Probability | publisher=Chapman & Hall/CRC. | isbn=978-0-412-98321-4}}</ref> Перевага традиційної поліноміальної регресії полягає в тому, що можна використовувати вивідну структуру множинної регресії (це також має місце при використанні інших сімейств базисних функцій, таких як сплайни).

Кінцевою альтернативою є використання [[Ядрові методи|ядрових]] моделей таких як [[метод опорних векторів]] з [[поліноміальним ядром]].

Якщо [[Похибки та залишки|залишки]] мають [[Гетероскедастичність|неоднакову дисперсію]], тоді для оцінки може бути використаний метод [[Метод найменших квадратів|зважених найменших квадратів]].<ref name="Conte De Boor 2018 p. 259">{{cite book | last1=Conte | first1=S.D. | last2=De Boor | first2=C. | title=Elementary Numerical Analysis: An Algorithmic Approach | publisher=Society for Industrial and Applied Mathematics (SIAM, 3600 Market Street, Floor 6, Philadelphia, PA 19104) | series=Classics in Applied Mathematics | year=2018 | isbn=978-1-61197-520-8 | url=https://books.google.com/books?id=oYZXDwAAQBAJ&pg=PA259 | access-date=2020-08-28 | page=259}}</ref>

== Див. також ==
* {{Нп|Допасовування кривої|||Curve fitting}}
* [[Лінійна регресія]]
* {{iw|Local polynomial regression|Локальна поліноміальна регресія}}
* {{iw|Polynomial and rational function modeling|Поліноміальне та раціональне моделювання функцій}}
* [[Поліноміальна інтерполяція]]
* [[Метод Бокса — Вілсона]]
* [[Згладжуючий сплайн]]

== Примітки ==

* [[Microsoft Excel]] використовує поліноміальну регресію при підборі лінії тренду до точок даних на графіку розсіювання XY.<ref>{{cite web|last1=Stevenson|first1=Christopher|title=Tutorial: Polynomial Regression in Excel|url=https://facultystaff.richmond.edu/~cstevens/301/Excel4.html|website=facultystaff.richmond.edu|accessdate=22 січня 2017|archive-date=2 червня 2013|archive-url=https://web.archive.org/web/20130602200850/https://facultystaff.richmond.edu/~cstevens/301/Excel4.html}}</ref>

== Посилання ==
{{Reflist|30em}}

{{Сирий переклад|en|дата=листопад 2020}}
{{Вікіфікувати|дата=листопад 2020}}
{{Без джерел|дата=листопад 2020}}
{{перекласти}}
{{статистика-доробити}}

{{Статистика}}

[[Категорія:Регресійний аналіз]]