Перегляд вихідного коду сторінки Теорія складності обчислень

{{unibox}}'''Теорія складності обчислень'''&nbsp;— підрозділ [[теоретична інформатика|теоретичної інформатики]], що займається дослідженням [[Обчислювальна складність|складності]] [[алгоритм]]ів для розв'язання задач на основі формально визначених моделей обчислювальних пристроїв. Складність алгоритмів вимірюється за необхідними ресурсами, в основному це тривалість обчислень або необхідний обсяг пам'яті. В окремих випадках досліджуються інші міри складності, такі як розмір мікросхем, або кількість [[процесор]]ів, необхідна для роботи паралельних алгоритмів.

Слід не плутати теорію складності обчислень з [[теорія обчислюваності|теорією обчислюваності]], яка займається пошуком відповіді на запитання про те, які задачі можуть бути взагалі розв'язані за допомогою алгоритмів. Основна задача досліджень в теорії складності обчислень полягає у класифікації всіх розв'язних задач. Зокрема, робляться спроби відокремити множину задач з ефективними алгоритмами розв'язання від множини важко розв'язних задач.

== Огляд ==

[[Обчислювальна складність|Обчислювальну складність]] [[алгоритм]]у звичайно виражають через символ «''О'' велике», що вказує порядок величини обчислювальної складності. Це просто член розкладання [[функція (математика)|функції]] складності, що найшвидше зростає за умови зростання ''n''; всі члени нижчого порядку ігноруються. Наприклад, якщо часова складність порядку ''n<sup>2</sup>'', то вона виражається як ''O(n<sup>2</sup>)''.

Часова складність, виміряна таким чином, не залежить від реалізації.

Не потрібно знати ні точного часу виконання окремих інструкцій, ні числа бітів, які являють різні змінні, ні навіть швидкості процесора. Один комп'ютер може бути на 50&nbsp;% швидший від іншого, а в третього ширина шини даних може бути вдвічі більша, проте складність алгоритму, що оцінена порядком величини, не зміниться. І це не є якимись хитрощами. Під час оцінки доволі складних алгоритмів усім іншим можна знехтувати (з точністю до постійного множника).

Оцінка обчислювальної складності наочно демонструє, як об'єм вхідних даних впливає на вимоги до часу та об'єму пам'яті.

Наприклад, якщо ''T=O(n)'', подвоєння вхідних даних подвоїть і час виконання [[алгоритм]]у. Якщо ''T=O(2<sup>n</sup>)'', додання лише одного біту до вхідних даних подвоїть час виконання алгоритму.

Головною ціллю теорії складності є забезпечення механізмів класифікації обчислювальних задач згідно з [[ресурси|ресурсами]], необхідними для їх розв'язання. Класифікація не повинна залежати від конкретної обчислювальної моделі, а швидше оцінювати внутрішню складність задачі.

Ресурси, що оцінюються, як уже було зазначено раніше, можуть бути такими: час, простір пам'яті, випадкові біти, кількість процесорів, тощо. Але зазвичай головним фактором є час, а іноді й простір.

Теорія розглядає мінімальний час і об'єм пам'яті для розв'язання найскладнішого варіанта задачі на теоретичному комп'ютері, відомому як [[машина Тюрінга|машина Т'юрінга]]. [[Машина Тюрінга|Машина Т'юрінга]] є кінцевим автоматом з безкінечною магнітною стрічкою пам'яті для читання/запису. Це означає, що машина Т'юрінга&nbsp;— реалістична обчислювальна [[модель]].

Задачі, які можна розв'язати за допомогою алгоритмів з [[поліном]]іальним часом, називають такими, що можуть бути розв'язані, оскільки за умов нормальних вхідних даних вони можуть бути розв'язані за прийнятний час (точне визначення «прийнятності» залежить від конкретних умов).

Задачі, які можуть бути вирішені тільки за допомогою суперполіноміальних алгоритмів з поліноміальним часом, є обчислювально складними навіть за відносно малими значеннями ''n''.

[[Алан Тюрінг|Алан Т'юрінг]] довів, що деякі задачі неможливо розв'язати. Навіть без урахування часової складності алгоритму, створити алгоритм для їх розв'язання неможливо.

== Асимптотична складність ==
{|class="wikitable"
!Позначення
!Інтуїтивне пояснення
!Визначення
|-
|<math>f(n) \in O(g(n))</math>
|<math>f</math> обмежена згори функцією <math>g</math> (з точністю до постійного множника) асимптотично
|<math>\exists (C>0), n_0 : \forall(n>n_0) \; |f(n)| \leq C|g(n)| </math> або <math>  \exists (C>0), n_0 : \forall(n>n_0) \; f(n) \leq Cg(n)</math>
|-
|<math>f(n) \in \Omega(g(n))</math>
|<math>f</math> обмежена знизу функцією <math>g</math> (з точністю до постійного множника) асимптотично
|<math>\exists (C>0), n_0 : \forall (n>n_0) \; |f(n)| \geq C|g(n)|</math>
|-
|<math>f(n) \in \Theta(g(n))</math>
|<math>f</math> обмежена знизу і згори функцією <math>g</math> асимптотично
|<math>\exists (C,C'>0), n_0 : \forall (n>n_0) \; C|g(n)| \leq |f(n)| \leq C'|g(n)| </math>
|-
|<math>f(n) \in o(g(n))</math>
|<math>g</math> домінує над <math>f</math> асимптотично
|<math>\forall (C>0) \exists n_0 : \forall(n>n_0) \; |f(n)| < C|g(n)|</math>
|-
|<math>f(n) \in \omega(g(n))</math>
|<math>f</math> домінує над <math>g</math> асимптотично
|<math>\forall (C>0) \exists n_0 : \forall(n>n_0) \; |f(n)| > C|g(n)|</math>
|-
|<math>f(n) \sim g(n)</math>
|<math>f</math> еквівалентна <math>g</math> асимптотично
|<math>\lim_{n \to \infty} \frac{f(n)}{g(n)} = 1</math>
|}

== Поширені складності алгоритмів ==
{|class="wikitable"
!Позначення
!Пояснення
!Приклади
<!--Поширені складності алгоритмів-->
|-
|<math>O(1)</math>
|Сталий час роботи, незалежно від розміру задачі.
|Очікуваний час пошуку в хеші.
|-
|<math>O(\log\log n)</math>
|Дуже повільне зростання необхідного часу.
|Очікуваний час роботи інтерполюючого пошуку <math>n</math> елементів.
|-
|<math>O(\log n)</math>
|Логарифмічне зростання&nbsp;— подвоєння розміру задачі збільшує час роботи на сталу величину.
|Обчислення; двійковий пошук в масиві з <math>n</math> елементів.
|-
|<math>O(n)</math>
|Лінійне зростання&nbsp;— подвоєння розміру задачі подвоїть і необхідний час.
|Додавання/віднімання чисел з <math>n</math> цифр; лінійний пошук в масиві з <math>n</math> елементів.
|-
|<math>O(n\cdot\log n)</math>
|Лінеаритмічне зростання&nbsp;— подвоєння розміру задачі збільшить необхідний час трохи більше ніж вдвічі.
|Сортування злиттям або купою <math>n</math> елементів; нижня границя сортування порівнянням <math>n</math> елементів.
|-
|<math>O(n^2)</math>
|[[Квадратичне зростання]]&nbsp;— подвоєння розміру задачі вчетверо збільшує необхідний час.
|Елементарні алгоритми сортування.
|-
|<math>O(n^3)</math>
|Кубічне зростання&nbsp;— подвоєння розміру задачі збільшує необхідний час у вісім разів.
|Звичайне множення матриць.
|-
|<math>O(c^n)</math>
|Експоненціальне зростання&nbsp;— збільшення розміру задачі на <math>1</math> <br/> призводить до <math>c-</math>кратного збільшення необхідного часу; подвоєння розміру задачі підносить необхідний час у квадрат
|Деякі задачі комівояжера, алгоритми пошуку повним перебором.
|}

== Класи складності ==

Клас складності&nbsp;— це множина задач розпізнавання, для вирішення яких існують алгоритми, схожі за обчислювальною складністю. Задачі можна розбити на класи згідно зі складністю їх розв'язання. Всі класи складності знаходяться в ієрархічному відношенні: одні містять у собі інші. Однак про більшість включень невідомо, чи є вони суворими. Клас ''P'', що є найнижчим, містить усі задачі, які можна розв'язати за поліноміальний час. До класу ''NP'' входять усі задачі, які можна розв'язати за поліноміальний час тільки на недетермінованій машині Т'юрінга (це варіант звичайної [[машина Тюрінга|машини Т'юрінга]], що може робити припущення). Така машина робить припущення щодо розв'язку задачі&nbsp;— чи «вдало вгадуючи», чи перебираючи усі припущення паралельно&nbsp;— та перевіряє своє припущення за поліноміальний час.

=== Клас P ===
'''Клас P''' (від англ. polynomial)&nbsp;— множина задач, для яких існують «швидкі» алгоритми рішення (час роботи яких поліноміально залежить від розміру вхідних даних). Клас ''P'' включений у ширші класи складності алгоритмів. Для будь-якої мови програмування можна визначити клас ''P'' подібним чином (замінивши у визначенні машину Т'юрінга на реалізацію мови програмування). Якщо компілятор мови, на якому реалізовано алгоритм, уповільнює виконання алгоритму поліноміальної (тобто час виконання алгоритму на машині Т'юрінга менше деякого многочлена від часу виконання його на мові програмування), то визначення класів ''P'' для цієї мови і для машини Т'юрінга збігаються. Код на асемблері допускає перетворення в машину Т'юрінга з невеликим поліноміальним уповільненням, а оскільки всі існуючі мови допускають компіляцію в асемблер (знову ж таки, з поліноміальним уповільненням), то визначення класу ''P'' для машин Т'юрінга і для будь-якої існуючої мови програмування збігаються.

=== Клас NP ===
'''Клас NP''' (від англ. non-deterministic polynomial)&nbsp;— множина задач розпізнавання, розв'язання яких є можливим за наявності деяких додаткових відомостей (так званого [[сертифікат (складність обчислень)|сертифіката рішення]]), тобто є можливість «швидко» (за час, що не перевершує полінома від розміру даних) перевірити розв'язок на машині Тьюрінга. Еквівалентно клас NP можна визначити як сукупність завдань, які можна «швидко» вирішити на недетермінованій машині Т'юрінга.

Клас складності ''NP'' визначається для множини мов, тобто множин слів над кінцевим алфавітом ''Σ''. Мова ''L'' належить класу ''NP'', якщо існують двомісний предикат <math>R(x,y)</math> з класу ''P'' (тобто обчислюваний за поліноміальний час) і константа <math>C>0</math> такі, що для будь-якого слова <math>x</math> умова <math>x \in L</math> рівносильна умові <math>\exists y,|y|<|y|</math><sup><math>c</math></sup> <math>R(x,y)</math>.

=== Відношення класів складності NP та P ===
У теорії алгоритмів питання про рівність класів складності ''P'' і ''NP'' є однією з центральних відкритих проблем вже більше трьох десятиліть. Якщо на нього буде дана ствердна відповідь, це буде означати, що теоретично можливо вирішувати багато складних завдань значно швидше, ніж зараз.<br/>
З визначення класів ''P'' і ''NP'' відразу випливає наслідок:<math>P \subseteq NP</math> . Проте до цього часу нічого не відомо про суворість цього включення, тобто чи існує завдання, що лежить в ''NP'', але не лежить в ''P''. Якщо такого завдання не існує, то всі завдання, що належать класу ''NP'', можна буде вирішувати за поліноміальний час, що обіцяє величезну вигоду з обчислювальної точки зору. Зараз найскладніші завдання з класу ''NP'' (так звані ''NP''-повні задачі) можна вирішити за експоненційний час, що майже завжди неприйнятно.<br/>
В даний час більшість математиків вважають, що ці класи не рівні. Згідно з опитуванням, проведеним у 2002 році серед 100 вчених,<ref name = "pool" /> 61 людина вважає, що відповідь&nbsp;— «не рівні»; 9&nbsp;— «рівні»; 22 не змогли відповісти. 8 вважають, що гіпотеза не виводиться з поточної системи аксіом і, таким чином, не може бути доведена або спростована. З вищезазначеного видно, що проблема дослідження відношення класів ''P'' та ''NP'' є актуальною в науковому середовищі і потребує глибшого аналізу.

== Непіддатливість ==
Задачі які можна розв'язати теоретично (маючи величезний але скінченний час), але які на практиці займають занадто багато часу аби їх розв'язок міг бути корисним, називаються ''непіддатливими'' ({{lang-en|intractable}}).<ref>{{Cinderella Book}}</ref>

В криптографії ''важко обчислити'' - термін, який застосовують до перетворень, алгоритм яких хоча й відомий, але не може бути реалізований за допомогою реальної кількості ресурсів. І реалізація не передбачається в найближчому майбутньому навіть з врахуванням [[закон Мура|закону Мура]]. Функції обчислювальні за розумний час називаються такими що їх ''легко обчислити''.{{sfn|Ємець|Мельник|Попович|2003}}

Важко обчислювати наприклад задачі [[NP|складності NP]] і складніші, але й поліноміальні задачі теж бувають важкими. Це залежить від константи в [[асимптотична оцінка складності|асимптотичній оцінці складності]]. Наприклад задачу складності O(n) ми завжди вважатимемо лінійною, навіть якщо константа біля <math>n</math> буде дорівнювати <math>2^{500}</math>, але алгоритм з такою константою буде практично незастосовним.{{sfn|Ємець|Мельник|Попович|2003}} 

Функції які легко обчислити, але важко обчислити обернені до них називаються ''[[Одностороння функція|односторонніми]]''. Складною задачею наприклад є задача [[факторизація|факторизації]], хоча множення чисел просте, і завдяки цьому ми на сьогодні можемо використовувати [[асиметричні алгоритми шифрування]].{{sfn|Ємець|Мельник|Попович|2003}}


== Приклади ==
При порівнянні різних алгоритмів важливо знати, як їх складність залежить від обсягу вхідних даних. Припустимо, при сортуванні одним методом обробка тисячі чисел займає 1 с., А обробка мільйона чисел&nbsp;— 10 с., При використанні іншого алгоритму може знадобитися 2 с. і 5 с. відповідно. У таких умовах не можна однозначно сказати, який алгоритм краще.<br/>
У загальному випадку складність алгоритму можна оцінити по порядку величини. Алгоритм має складність <math>O(f(n))</math>, якщо при збільшенні розмірності вхідних даних <math>N</math>, час виконання алгоритму зростає з тією ж швидкістю, що і функція <math>f(N)</math>. Розглянемо код, який для матриці <math>A[NxN]</math> знаходить максимальний елемент у кожному рядку.

'''Приклад:'''
<syntaxhighlight lang="pascal">
 for i:=1 to N do
  begin
   max:=A[i,1];
   for j:=1 to N do
    begin
     if A[i,j]>max then
     max:=A[i,j]
    end;
   writeln(max);
 end;
</syntaxhighlight>

У цьому алгоритмі змінна <math>i</math> змінюється від <math>1</math> до <math>N</math>. При кожній зміні <math>i</math>, змінна <math>j</math> теж змінюється від <math>1</math> до <math>N</math>. Під час кожної з <math>N</math> ітерацій зовнішнього циклу, внутрішній цикл теж виконується <math>N</math> разів. Загальна кількість [[ітерація|ітерацій]] внутрішнього циклу дорівнює <math>N*N</math>. Це визначає складність алгоритму <math>O(N</math><sup><math>2</math></sup><math>)</math>.
Оцінюючи порядок складності алгоритму, необхідно використовувати тільки ту частину, яка зростає найшвидше. Припустимо, що робочий цикл описується виразом <math>N</math><sup><math>3</math></sup><math>+N</math>. У такому разі його складність буде дорівнювати <math>O(N</math><sup><math>3</math></sup><math>)</math>. Розгляд швидко зростаючої частини функції дозволяє оцінити поведінку алгоритму при збільшенні <math>N</math>. Наприклад, при <math>N=100</math>,  різниця між <math>N</math><sup><math>3</math></sup><math>+N=1000100</math> та <math>N=1000000</math> дорівнює всього лише <math>100</math>, що становить <math>0,01\%</math>.
При обчисленні <math>O</math> можна не враховувати постійні множники у виразах. Алгоритм з робочим кроком <math>3*N</math><sup><math>3</math></sup> розглядається, як <math>O(N</math><sup><math>3</math></sup><math>)</math>. Це робить залежність ставлення <math>O(N)</math> від зміни розміру задачі більш очевидною.

Найбільш складними частинами програми зазвичай є виконання циклів і виклик процедур. У попередньому прикладі весь алгоритм виконаний за допомогою двох циклів.
Якщо одна процедура викликає іншу, то необхідно більш ретельно оцінити складність останньої. Якщо в ній виконується певне число інструкцій (наприклад, виведення на друк), то на оцінку складності це практично не впливає. Якщо ж викликана процедура виконується <math>O(N)</math> кроків, то функція може значно ускладнити алгоритм. Якщо ж процедура викликається всередині циклу, то вплив може бути набагато більшим.
До прикладу розглянемо дві процедури: ''Slow'' зі складністю <math>O(N</math><sup><math>3</math></sup><math>)</math> і ''Fast'' зі складністю <math>O(N</math><sup><math>2</math></sup><math>)</math>.

'''Приклад:'''
<syntaxhighlight lang="pascal">
 procedure Slow;
 var
 i,j,k: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
    for k:=1 to N do
    {будь-яка дія}
    end;
 procedure Fast;
 var
 i,j: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
   Slow;
 end;
 procedure Both;
 begin
  Fast;
 end;
</syntaxhighlight>

Якщо у внутрішніх циклах процедури ''Fast'' відбувається виклик процедури ''Slow'', то складності процедур перемножуються. У даному випадку складність алгоритму становить <math>O(N</math><sup><math>2</math></sup><math>)*O(N</math><sup><math>3</math></sup><math>)=O(N</math><sup><math>5</math></sup><math>)</math>.
Якщо ж основна програма викликає процедури по черзі, то їх складності додаються: <math>O(N</math><sup><math>2</math></sup><math>)+O(N</math><sup><math>3</math></sup><math>)=O(N</math><sup><math>3</math></sup><math>)</math>. Наступний фрагмент має саме таку складність:

'''Приклад:'''
<syntaxhighlight lang="pascal">
 procedure Slow;
 var
 i,j,k: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
    for k:=1 to N do
    {будь-яка дія}
 end;
 procedure Fast;
 var
 i,j: integer;
 begin
  for i:=1 to N do
   for j:=1 to N do
   {будь-яка дія}
 end;
 procedure Both;
 begin
  Fast;
  Slow;
 end;
</syntaxhighlight>

== Історія ==
Прикладом раннього аналізу складності алгоритмів є проведений аналіз [[Алгоритм Евкліда|алгоритму Евкліда]], який зробив [[Габрієль Ламе]] 1844 року.

До початку досліджень, що були явно присвячені вивченню складності алгоритмів, багато дослідників заклали цьому теоретичний фундамент. Найвпливовішим серед них був [[Алан Тюрінг|Алан Т'юрінг]], що ввів поняття [[Машина Тюрінга|машин Т'юрінга]] 1936 року, що виявилися дуже вдалими й гнучкими спрощеними моделями комп'ютера.

== Див. також ==
* [[Список алгоритмів]]
* [[Обчислювальна складність]]
* [[Багатозначна зводимість]]
* [[PCP-теорема]]

== Примітки ==
<references>
<ref name = "pool">Gasarch W.I. «The P=?NP poll.» / William I. Gasarch SIGACT News. Volume 33. [Електронний ресурс]&nbsp;— 2002&nbsp;— С.&nbsp;— Режим доступу: http://www.cs.umd.edu/~gasarch/papers/poll.pdf {{Webarchive|url=https://web.archive.org/web/20191027015501/http://www.cs.umd.edu/~gasarch/papers/poll.pdf |date=27 жовтня 2019 }} - ст. 34-47</ref>
</references>

== Література ==
* {{Cinderella Book}}
* {{Роджерс.Теорія рекурсивних функцій}}
* Christos H. Papadimitriou: ''Computational Complexity''. Addison-Wesley, Reading/Mass. 1995, ISBN 0-201-53082-1.
* Lance Fortnow, Steve Homer: ''A Short History of Computational Complexity''. [http://people.cs.uchicago.edu/~fortnow/papers/history.pdf Online-Manuskript] {{Webarchive|url=https://web.archive.org/web/20210320063124/http://people.cs.uchicago.edu/~fortnow/papers/history.pdf |date=20 березня 2021 }} (PDF, 225 kB)
* Jan van Leeuwen (Hrsg.): ''Handbook of Theoretical Computer Science, Volume A: Algorithms and Complexity''. The MIT Press/Elsevier, Amsterdam 1994, ISBN 0-262-72020-5.
* [[Юріс Гартманіс|Juris Hartmanis]], [[Річард Стернз|Richard Edwin Stearns]]: ''On the computational complexity of algorithms''. In: ''Trans. American Mathematical Society''. 117/1965, S. 285—306, {{ISSN|0002-9947}}. {{ref-en}}
* Ding-Zhu Du, Ker-I Ko: ''Theory of Computational Complexity.'' John Wiley & Sons, New York 2000, ISBN 0-471-34506-7.
* Michael R. Garey, David S. Johnson: ''Computers and Intractability: A guide to the theory of NP-completeness.'' Freeman, New York 2003, ISBN 0-7167-1045-5.
* Michael Sipser: ''Introduction to the Theory of Computation''. 2. Auflage. Thomson, Boston 2006, ISBN 0-534-95097-3. (International Edition)
* Кузюрін М. М., Фомін С.&nbsp;А.&nbsp;Ефективні алгоритми та складність обчислень. 2008
* Немирівський А. С., Юдін Д.&nbsp;Б.&nbsp;Складність і ефективність методів оптимізації. М.: Наука, 1979
* {{cite book
|first1= В.|last1=Ємець
|first2=А.|last2=Мельник
|first3=Р.|last3=Попович 
|year= 2003
|title= Сучасна криптографія. Основні поняття.
|lang= укр
|pages= 69
|publisher= БаК
|place= Львів
|isbn=966-7065-44-8
|ref=harv
}}

== Посилання ==
* [https://complexityzoo.uwaterloo.ca/Complexity_Zoo Complexity Zoo] {{Webarchive|url=https://web.archive.org/web/20190827233504/https://complexityzoo.uwaterloo.ca/Complexity_Zoo |date=27 серпня 2019 }}&nbsp;— «Зоопарк» класів складності.
{{Класи складності}}
{{Інформатика|state=collapsed}}
{{Перекласти|en|Computational complexity theory}}
{{comp-stub}}

[[Категорія:Теорія складності обчислень| ]]
[[Категорія:Обчислювальні галузі досліджень]]
[[Категорія:Статті з прикладами коду мовою Pascal]]