Перегляд вихідного коду сторінки Теорія інформації

{{short description|Наукове дослідження цифрової інформації}}
{{distinguish|Наукова інформатика|Науковою інформатикою}}

{{Теорія інформації}}

'''Тео́рія інформ́ації''' ({{lang-en|Information theory}})&nbsp;— це математичне дослідження [[кількісне вираження|кількісного вираження]], [[зберігання даних|зберігання]] та [[телекомунікації|передавання]] [[інформація|інформації]]. Заснував цю галузь і забезпечив їй надійну основу [[Клод Шеннон]] у 1940-х роках,<ref>{{Cite journal |last=Schneider |first=Thomas D. |date=2006 |title=Claude Shannon: Biologist |journal=IEEE Engineering in Medicine and Biology Magazine: The Quarterly Magazine of the Engineering in Medicine & Biology Society |language=en |volume=25 |issue=1 |pages=30–33 |doi=10.1109/memb.2006.1578661 |issn=0739-5175 |pmc=1538977 |pmid=16485389}}</ref> хоча ранній внесок до цьому напряму зробили в 1920-х роках праці [[Гаррі Найквіст]]а та [[Ральф Гартлі|Ральфа Гартлі]]. Вона перебуває на перетині [[електронна інженерія|електронної інженерії]], [[математика|математики]], [[статистика|статистики]], [[інформатика|інформатики]], [[нейробіологія|нейробіології]], [[фізика|фізики]] та [[електротехніка|електротехніки]].<ref name=":2">{{Cite journal |last1=Cruces |first1=Sergio |last2=Martín-Clemente |first2=Rubén |last3=Samek |first3=Wojciech |date=2019-07-03 |title=Information Theory Applications in Signal Processing |journal=Entropy |language=en |volume=21 |issue=7 |pages=653 |doi=10.3390/e21070653 |doi-access=free |issn=1099-4300 |pmc=7515149 |pmid=33267367|bibcode=2019Entrp..21..653C }}</ref><ref name=":0">{{Cite book |url=https://books.google.com/books?id=TNpVEAAAQBAJ&dq=how+important+is+information+theory+internet+black+holes&pg=PA23 |title=Fractional Order Systems and Applications in Engineering |publisher=Academic Press |year=2023 |isbn=978-0-323-90953-2 |editor-last=Baleanu |editor-first=D. |series=Advanced Studies in Complex Systems |location=London, United Kingdom |pages=23 |language=en |oclc=on1314337815 |editor-last2=Balas |editor-first2=Valentina Emilia |editor-last3=Agarwal |editor-first3=Praveen}}</ref>

Ключовою мірою в теорії інформації є [[інформаційна ентропія|ентропія]]. Ентропія вимірює рівень невизначеності щодо значення [[випадкова величина|випадкової величини]] або результату [[випадковий процес|випадкового процесу]]. Наприклад, визначення результату [[Підкидання монети|підкидання]] {{li|симетрична монета|симетричної монети|Q5429954}} (що має два рівноймовірні результати) дає менше інформації (меншу ентропію, меншу невизначеність), аніж визначення результату кидання [[гральна кісточка|гральної кісточки]] (що має шість рівноймовірних результатів). До інших важливих мір у теорії інформації належать [[взаємна інформація]], [[пропускна спроможність каналу]], {{li|показник помилки|показники помилок|Q5395710}} та [[відносна ентропія]]. До важливих підрозділів теорії інформації належать [[кодування джерела]], [[алгоритмічна теорія складності]], [[алгоритмічна теорія інформації]] та {{li|інформаційно-теоретична безпека||Q3510462}}.

До застосувань основних предметів теорії інформації належать кодування джерела/[[стиснення даних]] (наприклад, для файлів ''[[zip]]'') та канальне кодування/[[виявляння та виправляння помилок]] (наприклад, для ''[[Digital Subscriber Line|DSL]]''). Її вплив був вирішальним для успіху місій «[[Вояджер]]» до глибокого космосу,<ref name=":22">{{Cite web |last=Horgan |first=John |author-link=Джон Горґан (журналіст) |date=2016-04-27 |title=Claude Shannon: Tinkerer, Prankster, and Father of Information Theory |url=https://spectrum.ieee.org/claude-shannon-tinkerer-prankster-and-father-of-information-theory |access-date=2024-11-08 |website=[[IEEE]] |language=en}}</ref> винайдення [[компакт-диск]]а, можливості мобільних телефонів і розвитку [[Інтернет]]у й [[штучний інтелект|штучного інтелекту]].<ref>{{Cite book |last=Shi |first=Zhongzhi |url=https://books.google.com/books?id=xMTFCgAAQBAJ |title=Advanced Artificial Intelligence |date=2011 |publisher=[[World Scientific Publishing]] |isbn=978-981-4291-34-7 |pages=2 |language=en |doi=10.1142/7547}}</ref><ref name=":0" /> Ця теорія також знайшла застосування й в інших сферах, як-от [[індуктивна статистика|індуктивній статистиці]],<ref>{{cite book|last1=Burnham|first1=K. P.|last2=Anderson|first2=D. R.|year=2002|title=Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach|url=https://archive.org/details/modelselectionmu0000burn|edition=Second|language=en|publisher=Springer Science|location=New York|ISBN=978-0-387-95364-9}}</ref> [[криптографія|криптографії]], [[нейробіологія|нейробіології]],<ref name="Spikes">{{cite book|title=Spikes: Exploring the Neural Code|language=en|author1=F. Rieke|author2=D. Warland|author3=R Ruyter van Steveninck|author4=W Bialek|publisher=The MIT press|year=1997|isbn=978-0262681087}}</ref> [[сприйняття|сприйнятті]],<ref>{{Cite journal|last1=Delgado-Bonal|first1=Alfonso|last2=Martín-Torres|first2=Javier|date=2016-11-03|title=Human vision is determined based on information theory|journal=Scientific Reports|language=En|volume=6|issue=1|pages=36038|bibcode=2016NatSR...636038D|doi=10.1038/srep36038|issn=2045-2322|pmc=5093619|pmid=27808236}}</ref> [[обробка сигналів|обробці сигналів]],<ref name=":2" /> [[мовознавство|мовознавстві]], еволюції<ref>{{cite journal|last1=cf|last2=Huelsenbeck|first2=J. P.|last3=Ronquist|first3=F.|last4=Nielsen|first4=R.|last5=Bollback|first5=J. P.|year=2001|title=Bayesian inference of phylogeny and its impact on evolutionary biology|journal=Science|language=en|volume=294|issue=5550|pages=2310–2314|bibcode=2001Sci...294.2310H|doi=10.1126/science.1065889|pmid=11743192|s2cid=2138288}}</ref> та функціюванні<ref>{{cite journal|last1=Allikmets|first1=Rando|last2=Wasserman|first2=Wyeth W.|last3=Hutchinson|first3=Amy|last4=Smallwood|first4=Philip|last5=Nathans|first5=Jeremy|last6=Rogan|first6=Peter K.|year=1998|title=Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences|url=http://alum.mit.edu/www/toms/|journal=Gene|language=en|volume=215|issue=1|pages=111–122|doi=10.1016/s0378-1119(98)00269-8|pmid=9666097|doi-access=free}}</ref> молекулярних кодів ([[біоінформатика|біоінформатиці]]), [[теплофізика|теплофізиці]],<ref>{{cite journal|last1=Jaynes|first1=E. T.|year=1957|title=Information Theory and Statistical Mechanics|url=http://bayes.wustl.edu/|journal=Phys. Rev.|language=en|volume=106|issue=4|page=620|bibcode=1957PhRv..106..620J|doi=10.1103/physrev.106.620|s2cid=17870175 }}</ref> [[молекулярна динаміка|молекулярній динаміці]],<ref>{{Cite journal|last1=Talaat|first1=Khaled|last2=Cowen|first2=Benjamin|last3=Anderoglu|first3=Osman|date=2020-10-05|title=Method of information entropy for convergence assessment of molecular dynamics simulations|journal=Journal of Applied Physics|language=En|volume=128|issue=13|pages=135102|doi=10.1063/5.0019078|bibcode=2020JAP...128m5102T|osti=1691442|s2cid=225010720|doi-access=free}}</ref> [[чорна діра|чорних дірах]], [[квантові обчислення|квантових обчисленнях]], [[інформаційний пошук|інформаційному пошуку]], [[Розвідка (збирання інформації)|збиранні інформації]], [[виявляння плагіату|виявлянні плагіату]],<ref>{{cite journal|last1=Bennett|first1=Charles H.|last2=Li|first2=Ming|last3=Ma|first3=Bin|year=2003|title=Chain Letters and Evolutionary Histories|url=http://sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|journal=[[Scientific American]]|language=en|volume=288|issue=6|pages=76–81|bibcode=2003SciAm.288f..76B|doi=10.1038/scientificamerican0603-76|pmid=12764940|access-date=2008-03-11|archive-url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75|archive-date=2007-10-07|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20071007041539/http://www.sciamdigital.com/index.cfm?fa=Products.ViewIssuePreview&ARTICLEID_CHAR=08B64096-0772-4904-9D48227D5C9FAC75 |date=2007-10-07 }}</ref> [[розпізнавання образів|розпізнаванні образів]], [[виявляння аномалій|виявлянні аномалій]],<ref>{{Cite web|url=http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|title=Some background on why people in the empirical sciences may want to better understand the information-theoretic methods|language=en|author=David R. Anderson|date=1 листопада 2003|archive-url=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf|archive-date=23 липня 2011|url-status=dead|access-date=2010-06-23}} {{Webarchive|url=https://web.archive.org/web/20110723045720/http://aicanderson2.home.comcast.net/~aicanderson2/home.pdf |date=2011-07-23 }}</ref> [[музика|музичній]] аналітиці,<ref>{{Citation |last=Loy |first=D. Gareth |title=Music, Expectation, and Information Theory |date=2017 |work=The Musical-Mathematical Mind: Patterns and Transformations |series=Computational Music Science |pages=161–169 |editor-last=Pareyon |editor-first=Gabriel |url=https://link.springer.com/chapter/10.1007/978-3-319-47337-6_17 |access-date=2024-09-19 |place=Cham |publisher=Springer International Publishing |language=en |doi=10.1007/978-3-319-47337-6_17 |isbn=978-3-319-47337-6 |editor2-last=Pina-Romero |editor2-first=Silvia |editor3-last=Agustín-Aquino |editor3-first=Octavio A. |editor4-last=Lluis-Puebla |editor4-first=Emilio}}</ref><ref>{{Cite journal |last1=Rocamora |first1=Martín |last2=Cancela |first2=Pablo |last3=Biscainho |first3=Luiz |date=2019-04-05 |title=Information Theory Concepts Applied to the Analysis of Rhythm in Recorded Music with Recurrent Rhythmic Patterns |url=http://www.aes.org/e-lib/browse.cfm?elib=20449 |journal=Journal of the Audio Engineering Society |language=en |volume=67 |issue=4 |pages=160–173 |doi=10.17743/jaes.2019.0003}}</ref> створенні [[живопис]]у,<ref>{{Cite journal |last=Marsden |first=Alan |date=2020 |title=New Prospects for Information Theory in Arts Research |url=https://direct.mit.edu/leon/article/53/3/274-280/96875 |journal=Leonardo |language=en |volume=53 |issue=3 |pages=274–280 |doi=10.1162/leon_a_01860 |issn=0024-094X}}</ref> проєктуванні {{li|система зображування|систем зображування|Q115180053}},<ref>{{Cite arXiv|title=Universal evaluation and design of imaging systems using information estimation|language=en|eprint=2405.20559 |last1=Pinkard |first1=Henry |last2=Kabuli |first2=Leyla |last3=Markley |first3=Eric |last4=Chien |first4=Tiffany |last5=Jiao |first5=Jiantao |last6=Waller |first6=Laura |date=2024 |class=physics.optics }}</ref> вивченні [[космічний простір|космічного простору]],<ref>{{Cite journal |last=Wing |first=Simon |last2=Johnson |first2=Jay R. |date=2019-02-01 |title=Applications of Information Theory in Solar and Space Physics |url=https://www.mdpi.com/1099-4300/21/2/140 |journal=Entropy |language=en |volume=21 |issue=2 |pages=140 |doi=10.3390/e21020140 |issn=1099-4300 |pmc=7514618 |pmid=33266856 |doi-access=free|bibcode=2019Entrp..21..140W }}</ref> вимірності [[простір|простору]],<ref>{{Cite journal |last=Kak |first=Subhash |date=2020-11-26 |title=Information theory and dimensionality of space |url=https://www.nature.com/articles/s41598-020-77855-9 |journal=Scientific Reports |language=en |volume=10 |issue=1 |pages=20733 |doi=10.1038/s41598-020-77855-9 |issn=2045-2322}}</ref> і навіть [[епістемологія|епістемології]].<ref>{{Cite journal |last=Harms |first=William F. |date=1998 |title=The Use of Information Theory in Epistemology |url=https://www.jstor.org/stable/188281 |journal=Philosophy of Science |language=en |volume=65 |issue=3 |pages=472–501 |doi=10.1086/392657 |jstor=188281 |issn=0031-8248}}</ref>

== Огляд ==
Теорія інформації вивчає передавання, обробку, виділяння та використання [[інформація|інформації]]. Абстрактно інформацію можливо розглядати як розв'язання невизначеності. У випадку передавання інформації зашумленим каналом це абстрактне поняття формалізував 1948 року [[Клод Шеннон]] у статті під назвою «[[Математична теорія зв'язку (стаття)|Математична теорія зв'язку]]», в якій інформацію розглянуто як набір можливих повідомлень, а метою є передавання цих повідомлень зашумленим каналом, щоби приймач міг відтворити повідомлення з низькою ймовірністю помилки, незважаючи на шум каналу. Головний результат Шеннона, {{li|теорема про кодування для зашумленого каналу||Q2345282}}, показав, що за великої кількості використань каналу швидкість передачі інформації, яка асимптотично досяжна, дорівнює пропускній спроможності каналу, величині, яка залежить лише від статистичних характеристик каналу, яким передають повідомлення.<ref name="Spikes" />

Теорія кодування займається пошуком конкретних методів, званих ''кодами'' ({{lang-en|codes}}), для підвищення ефективності та зниження рівня помилок при передаванні даних зашумленими каналами, з наближенням до пропускної спроможності каналу. Ці коди можливо умовно поділити на методи стискання даних (кодування джерела) та [[виправляння помилок]] (кодування каналу). У випадку останнього знадобилося багато років, щоби знайти методи, можливість яких довів Шеннон.{{cn|дата=листопад 2024}}

Третій клас кодів у теорії інформації&nbsp;— [[алгоритм шифрування|алгоритми шифрування]] (як {{li|код (криптографія)|коди|Q4994879}}, так і [[шифр]]и). Поняття, методи й результати з теорії кодування та теорії інформації широко використовують у криптографії та [[криптоаналіз]]і, наприклад, [[Бан (одиниця виміру)|одиничний бан]].{{cn|дата=листопад 2024}}

== Історичне підґрунтя ==
{{Main|{{li|Історія теорії інформації||Q5868014}}}}

Знаковою подією, що ''заклала основу'' дисципліни теорії інформації та привернула до неї негайну світову увагу, стала публікація класичної статті Клода Е. Шеннона «Математична теорія зв'язку» в ''{{li|Bell System Technical Journal||Q127815}}'' у липні та жовтні 1948 року. Історик {{li|Джеймс Ґлік||Q113105}} оцінив цю статтю як найважливіше досягнення 1948 року, вище за [[транзистор]], зазначивши, що ця праця була «навіть глибшою й фундаментальнішою» за транзистор.{{sfn|Gleick|2011|pp=3–4}} Шеннон став відомим як «батько теорії інформації».<ref>{{Cite web |last=Horgan |first=John |date=2016-04-27 |title=Claude Shannon: Tinkerer, Prankster, and Father of Information Theory |url=https://spectrum.ieee.org/claude-shannon-tinkerer-prankster-and-father-of-information-theory |access-date=2023-09-30 |website=[[IEEE]] |language=en}}</ref><ref>{{Cite magazine |last=Roberts |first=Siobhan |date=2016-04-30 |title=The Forgotten Father of the Information Age |language=en-US |magazine=The New Yorker |url=https://www.newyorker.com/tech/annals-of-technology/claude-shannon-the-father-of-the-information-age-turns-1100100 |access-date=2023-09-30 |issn=0028-792X}}</ref><ref name=":1">{{Cite web |last=Tse |first=David |date=2020-12-22 |title=How Claude Shannon Invented the Future |url=https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/ |access-date=2023-09-30 |website=Quanta Magazine |language=en}}</ref> Він викладав деякі зі своїх початкових ідей щодо теорії інформації ще 1939 року в листі до [[Веннівер Буш|Веннівера Буша]].<ref name=":1" />

До цієї статті обмежені інформаційно-теоретичні ідеї розробили в ''[[Bell Labs]]'', при цьому всі вони неявно виходили з однакової ймовірності подій. У своїй статті 1924 року «Деякі чинники, які впливають на швидкість телеграфу» ({{lang-en|Certain Factors Affecting Telegraph Speed}}) [[Гаррі Найквіст]] помістив теоретичний розділ, де кількісно визначив «відомості» ({{lang-en|"intelligence"}}) та «швидкість лінії» ({{lang-en|"line speed"}}), з якою їх можливо передавати комунікаційною системою, встановивши співвідношення {{math|1=''W'' = ''K'' log ''m''}} (що нагадує [[стала Больцмана|сталу Больцмана]]), де ''W''&nbsp;— швидкість передачі відомостей, ''m''&nbsp;— кількість різних рівнів напруги, з яких можна обирати на кожному часовому кроці, а ''K''&nbsp;— стала. Стаття [[Ральф Гартлі|Ральфа Гартлі]] 1928 року «Передавання інформації» ({{lang-en|Transmission of Information}}) використовує термін ''інформація'' ({{lang-en|information}}) як вимірювану величину, що відображає здатність приймача розрізняти одну [[послідовність символів]] з будь-якими іншими, тим самим кількісно визначаючи інформацію як {{math|1=''H'' = log ''S''<sup>''n''</sup> = ''n'' log ''S''}}, де ''S''&nbsp;— кількість можливих символів, а ''n''&nbsp;— кількість символів у передаванні. Отже, одиницею інформації була [[десяткова цифра]], яку згодом іноді називали [[Гартлі (одиниця вимірювання)|гартлі]] на його честь як одиницю, шкалу або міру інформації. 1940 року [[Алан Тюрінг]] використав подібні ідеї як частину статистичного аналізу для розшифровки німецьких шифрів «[[Криптоаналіз «Енігми»|Енігми]]» під час Другої світової війни.{{cn|дата=листопад 2024}}

Більшість математичного апарату теорії інформації для різноймовірнісних подій розробили для галузі [[термодинаміка|термодинаміки]] [[Людвіг Больцман]] та [[Джозая Віллард Ґіббз]]. Зв'язки між інформаційною ентропією та термодинамічною ентропією, включно з важливими внесками {{li|Рольф Ландауер|Рольфа Ландауера|Q69412}} 1960-х років, розглянуто в статті «{{li|Ентропія в термодинаміці та теорії інформації||Q5380803}}».{{cn|дата=листопад 2024}}

У революційній і новаторській статті Шеннона, роботу над якою було значною мірою завершено в ''Bell Labs'' до кінця 1944 року, Шеннон уперше представив якісну та кількісну модель зв'язку як статистичний процес, що лежить в основі теорії інформації, розпочавши з твердження:
{{цитата|Основна задача зв'язку полягає в тому, щоби відтворити в одній точці, точно або приблизно, повідомлення, вибране в іншій точці.
{{oq|en|The fundamental problem of communication is that of reproducing at one point, either exactly or approximately, a message selected at another point.}}
}}

З нею прийшли ідеї:
* [[інформаційна ентропія|інформаційної ентропії]] та [[надмірність (теорія інформації)|надмірності]] джерела, та їхньої значущості через {{li|теорема про кодування джерела|теорему про кодування джерела|Q2411312}};
* [[взаємна інформація|взаємної інформації]] та пропускної спроможності зашумленого каналу, включно з обіцянкою бездоганної передачі без втрат, яку дає теорема про кодування для зашумленого каналу;
* практичного результату [[закон Шеннона — Гартлі|закону Шеннона&nbsp;— Гартлі]] для пропускної спроможності [[гауссів канал|гауссового каналу]]; а також
* [[біт]]а — нового способу бачення найфундаментальнішої одиниці інформації.{{cn|дата=листопад 2024}}

== Кількості інформації ==
{{Unreferenced section|дата=листопад 2024}}{{Main|Кількості інформації}}

Теорія інформації ґрунтується на [[теорія ймовірностей|теорії ймовірностей]] та статистиці, де [[кількості інформації|кількісно виражену інформацію]] зазвичай описують у бітах. Теорія інформації часто займається вимірюванням інформації в розподілах, пов'язаних із випадковими величинами. Однією з найважливіших мір є [[інформаційна ентропія|ентропія]], що є основою для багатьох інших мір. Ентропія дозволяє кількісно виразити міру інформації в окремій випадковій величині.<ref>{{Cite web |last=Braverman |first=Mark |date=19 вересня 2011 |title=Information Theory in Computer Science |url=https://www.cs.princeton.edu/courses/archive/fall11/cos597D/L01.pdf |language=en }}</ref> Іншим корисним поняттям є взаємна інформація, визначена для двох випадкових величин, яка описує міру інформації, спільної між цими величинами, що можливо використовувати для опису їхньої кореляції. Перша величина є властивістю розподілу ймовірності випадкової величини й визначає границю швидкості, з якою дані, породжені незалежними зразками із заданим розподілом, можливо надійно стиснути. Друга є властивістю спільного розподілу двох випадкових величин і є максимальною швидкістю надійного передавання зашумленим [[канал зв'язку|каналом]] в границі довжин блоків, коли статистика каналу визначається цим спільним розподілом.

Вибір основи логарифму в наступних формулах визначає вживану [[одиниця вимірювання|одиницю]] інформаційної ентропії. Загальновживаною одиницею інформації є біт або [[шеннон (одиниця вимірювання)|шеннон]], що ґрунтується на [[двійковий логарифм|двійковому логарифмі]]. До інших одиниць належать [[нат (одиниця вимірювання)|нат]], що ґрунтується на [[натуральний логарифм|натуральному логарифмі]], та [[децибан|десяткова цифра]], що ґрунтується на [[десятковий логарифм|десятковому логарифмі]].

Далі вираз вигляду {{math|''p'' log ''p''}}, коли {{math|1=''p'' = 0}}, вважають за згодою нульовим. Це виправдано тим, що <math>\lim_{p \rightarrow 0+} p \log p = 0</math> для будь-якої основи логарифму.

=== Ентропія інформаційного джерела ===
Виходячи з [[функція маси імовірності|функції маси ймовірності]] кожного символу джерела, що передається, [[інформаційна ентропія|ентропію]] Шеннона {{math|''H''}} у бітах (на символ) задають як
: <math>H = - \sum_{i} p_i \log_2 (p_i)</math>
де {{math|''p<sub>i</sub>''}}&nbsp;— ймовірність трапляння {{math|''i''}}-того можливого значення символу джерела. Це рівняння дає ентропію в одиницях «біт» (на символ), оскільки воно використовує логарифм з основою 2, і таку міру ентропії на основі логарифму за основою 2 іноді називають [[шеннон (одиниця вимірювання)|шенноном]] на його честь. Ентропію також часто обчислюють, використовуючи натуральний логарифм (з основою {{mvar|[[E (математична стала)|e]]}}, де {{mvar|e}}&nbsp;— число Ейлера), що дає вимірювання ентропії в натах на символ й іноді спрощує аналіз, усуваючи потребу в додаткових сталих у формулах. Можливі й інші основи, хоча їх використовують рідше. Наприклад, логарифм з основою {{nowrap|1=2<sup>8</sup> = 256}} дає вимірювання в [[байт]]ах на символ, а логарифм з основою 10&nbsp;— у десяткових цифрах (або [[Гартлі (одиниця вимірювання)|гартлі]]) на символ.

Інтуїтивно, ентропія {{math|''H<sub>X</sub>''}} дискретної випадкової величини {{math|''X''}} є мірою ''невизначеності'' ({{lang-en|uncertainty}}), пов'язаної зі значенням {{math|''X''}}, коли відомий лише її розподіл.

Ентропія джерела, яке видає послідовність з {{math|''N''}} символів, які [[незалежні й однаково розподілені]] (н. о. р.), дорівнює {{math|''N'' ⋅ ''H''}} біт (на повідомлення з {{math|''N''}} символів). Якщо символи даних джерела однаково розподілені, але не незалежні, ентропія повідомлення довжиною {{math|''N''}} буде меншою за {{math|''N'' ⋅ ''H''}}.

[[Файл:Binary entropy plot.svg|thumbnail|right|200px|Ентропія [[проба Бернуллі|проби Бернуллі]] як функція ймовірності успіху, часто звана {{em|{{li|функція бінарної ентропії|функцією бінарної ентропії|Q4913893}}}}, {{math|''H''<sub>b</sub>(''p'')}}. Ця ентропія досягає максимуму в 1 біт на пробу, коли два можливі результати рівноймовірні, як у випадку підкидання симетричної монети.]]

Якщо передати 1000 бітів (нулів та одиниць), але значення кожного з цих бітів відоме приймачу (має певне значення з упевненістю) ще до передачі, то очевидно, що жодної інформації не передано. Якщо ж кожен біт незалежно й однаково правдоподібно може бути 0 або 1, то передано 1000 шеннонів інформації (частіше званих бітами). Між цими двома крайнощами інформацію можливо кількісно виразити наступним чином. Якщо <math>\mathbb{X}</math>&nbsp;— множина всіх повідомлень {{math|{{mset|''x''<sub>1</sub>, ..., ''x''<sub>''n''</sub>}}}}, якими може бути {{math|''X''}}, а {{math|''p''(''x'')}}&nbsp;— імовірність деякого <math>x \in \mathbb X</math>, то ентропію {{math|''H''}} величини {{math|''X''}} визначають як{{sfn|Reza|1994}}

: <math> H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).</math>

(Тут {{math|''I''(''x'')}}&nbsp;— [[власна інформація]], що є внеском ентропії окремого повідомлення, а <math>\mathbb{E}_X</math>&nbsp;— [[математичне сподівання]].) Однією з властивостей ентропії є те, що вона максимізується, коли всі повідомлення у просторі повідомлень рівноймовірні, тобто {{math|1=''p''(''x'') = 1/''n''}}, тобто найнепередбачуваніші, й у такому випадку {{math|1=''H''(''X'') = log ''n''}}.

Особливий випадок інформаційної ентропії для випадкової величини з двома можливими результатами&nbsp;— функція бінарної ентропії, зазвичай з логарифмом за основою 2, що відтак має одиницею [[шеннон (одиниця вимірювання)|шеннон]] (Sh):

: <math>H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).</math>

=== Спільна ентропія ===
{{em|[[Спільна ентропія]]}} ({{lang-en|joint entropy}}) двох дискретних випадкових величин {{math|''X''}} та {{math|''Y''}}&nbsp;— це просто ентропія їхньої двійки: {{math|(''X'', ''Y'')}}. Це означає, що якщо {{math|''X''}} та {{math|''Y''}} [[статистична незалежність|незалежні]], то їхня спільна ентропія дорівнює сумі їхніх окремих ентропій.

Наприклад, якщо {{math|(''X'', ''Y'')}} подає положення шахової фігури&nbsp;— {{math|''X''}} це рядок, а {{math|''Y''}} це стовпець, то спільна ентропія рядка та стовпця фігури буде ентропією її положення.

: <math>H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,</math>

Попри схожість позначень, спільну ентропію не слід плутати з {{em|[[перехресна ентропія|перехресною ентропією]]}} ({{lang-en|cross-entropy}}).

=== Умовна ентропія (неоднозначність) ===
{{em|[[Умовна ентропія]]}} ({{lang-en|conditional entropy}}) або ''умовна невизначеність'' ({{lang-en|conditional uncertainty}}) величини {{math|''X''}} за заданої випадкової величини {{math|''Y''}} (також звана ''неоднозначністю''<ref name="КилівникСмірноваПанчишин2019">{{cite journal|last1=Килівник|first1=В.С.|last2=Смірнова|first2=В.Л.|last3=Панчишин|first3=Н.Я.|year=2019|title=Теорія інформації та її застосування в медичній реабілітації|journal=Вісник медичних і біологічних досліджень|language=uk|publisher=[[Тернопільський національний медичний університет|ТНМУ]]|issue=1|pages=70-75|url=http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF/bulmbr_2019_1_15.pdf|archive-url=https://web.archive.org/web/20220306100823/http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF/bulmbr_2019_1_15.pdf|archive-date=2022-03-06|url-status=live}}</ref> {{math|''X''}} щодо {{math|''Y''}}, {{lang-en|equivocation}})&nbsp;— це усереднена умовна ентропія за {{math|''Y''}}:{{sfn|Ash|1990}}

: <math> H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).</math>

Оскільки ентропія може бути обумовлена випадковою величиною (''загальна умовна ентропія'') або конкретним значенням цієї випадкової величини (''часткова умовна ентропія''),{{sfn|Жураковський|Полторак|2001|pp=36—40}}{{sfn|Коваленко|2020|pp=38—41}} слід бути уважними, щоби не плутати ці два визначення умовної ентропії, перше з яких є поширенішим. Основною властивістю цієї форми умовної ентропії є те, що

: <math> H(X|Y) = H(X,Y) - H(Y) .\,</math>

=== Взаємна інформація (трансінформація) ===
''[[Взаємна інформація]]'' ({{lang-en|mutual information}}) вимірює кількість інформації про одну випадкову величину, яку можливо отримати, спостерігаючи іншу. Вона важлива в комунікаціях, де її можливо використовувати для максимізування кількості спільної інформації між передаваним та отримуваним сигналами. Взаємну інформацію {{math|''X''}} відносно {{math|''Y''}} визначають як

: <math>I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}</math>
де {{math|SI}} ({{lang-en|Specific mutual Information}}, конкретна взаємна інформація)&nbsp;— це [[поточкова взаємна інформація]].

Основна властивість взаємної інформації полягає в тому, що
: <math>I(X;Y) = H(X) - H(X|Y).\,</math>
Тобто, знаючи ''Y'', можливо заощадити в середньому {{math|''I''(''X''; ''Y'')}} бітів при кодуванні ''X'' порівняно з ситуацією, коли ''Y'' невідома.

Взаємна інформація [[симетрична функція|симетрична]]:
: <math>I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,</math>

Взаємну інформацію можливо виразити як усереднення розходження Кульбака&nbsp;— Лейблера (приросту інформації) [[апостеріорна ймовірність|апостеріорного розподілу ймовірності]] ''X'' за заданого значення ''Y'' з [[апріорна ймовірність|апріорним розподілом]] ''X'':
: <math>I(X;Y) = \mathbb E_{p(y)} [D_{\mathrm{KL}}( p(X|Y=y) \| p(X) )].</math>
Іншими словами, це міра того, наскільки в середньому зміниться розподіл імовірності ''X'', якщо задано значення ''Y''. Її часто переобчислюють як розходження добутку відособлених розподілів зі справжнім спільним розподілом:
: <math>I(X; Y) = D_{\mathrm{KL}}(p(X,Y) \| p(X)p(Y)).</math>

Взаємна інформація тісно пов'язана з [[критерій відношення правдоподібностей|критерієм логарифмічного відношення правдоподібностей]] у контексті таблиць спряженості та [[поліноміальний розподіл|поліноміального розподілу]], а також із [[критерій хі-квадрат Пірсона|критерієм χ<sup>2</sup> Пірсона]]: взаємну інформацію можливо вважати [[Статистика (математика)|статистикою]] для оцінювання незалежності пари змінних, і вона має добре визначений асимптотичний розподіл.

=== Розходження Кульбака&nbsp;— Лейблера (приріст інформації) ===
''[[Розходження Кульбака — Лейблера]]'' ({{lang-en|Kullback–Leibler divergence}}, або ''розходження інформації'', {{lang-en|information divergence}}, ''приріст інформації'', {{lang-en|information gain}}, чи ''відносна ентропія'', {{lang-en|relative entropy}})&nbsp;— це спосіб порівняння двох розподілів: «істинного» [[розподіл імовірності|розподілу ймовірності]] {{tmath|p(X)}} та довільного розподілу {{tmath|q(X)}}. Якщо ми стискаємо дані, вважаючи, що їхній розподіл це {{tmath|q(X)}}, тоді як насправді правильний розподіл це {{tmath|p(X)}}, розходження Кульбака–Лейблера визначає середню кількість додаткових бітів на дані, необхідних для стискання. Його відтак визначають як

: <math>D_{\mathrm{KL}}(p(X) \| q(X)) = \sum_{x \in X} -p(x) \log {q(x)} \, - \, \sum_{x \in X} -p(x) \log {p(x)} = \sum_{x \in X} p(x) \log \frac{p(x)}{q(x)}.</math>

Хоча іноді його й використовують як «метрику відстані», КЛ-розходження не є справжньою [[метрика (математика)|метрикою]], оскільки воно не симетричне й не задовольняє [[нерівність трикутника]] (що робить його напів-квазиметрикою).

Іншим тлумаченням КЛ-розходження є «зайва несподіваність» ({{lang-en|"unnecessary surprise"}}), створювана апріорним розподілом у порівнянні з істинним: припустімо, що число ''X'' буде випадковим чином обрано з дискретної множини з розподілом ймовірності {{tmath|p(x)}}. Якщо Аліса знає істинний розподіл {{tmath|p(x)}}, а Боб вважає (має [[апріорна ймовірність|апріорне переконання]]), що цим розподілом є {{tmath|q(x)}}, то для Боба побачене значення ''X'' у середньому буде більш [[власна інформація|несподіваним]], аніж для Аліси. КЛ-розходження є (об'єктивним) очікуваним значенням (суб'єктивної) несподіваності для Боба, мінус несподіваність для Аліси, виміряним у бітах, якщо логарифм взято за основою 2. Таким чином, міру того, наскільки «помилковим» є апріорне переконання Боба, можливо кількісно виразити у вигляді очікуваної «зайвої несподіваності» для нього.

=== Спрямована інформація ===
''{{li|Спрямована інформація||Q28455697}}'' ({{lang-en|directed Information}}) <math>I(X^n\to Y^n)</math>&nbsp;— це міра в теорії інформації, що кількісно визначає [[інформація|інформаційний]] потік від випадкового процесу <math>X^n = \{X_1, X_2, \dots, X_n\}</math> до випадкового процесу <math>Y^n = \{Y_1, Y_2, \dots, Y_n\}</math>. Термін ''спрямована інформація'' запровадив [[Джеймс Мессі]], її визначено як
: <math>I(X^n\to Y^n) \triangleq \sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math>,
де <math>I(X^{i};Y_i|Y^{i-1})</math>&nbsp;— {{li|умовна взаємна інформація||Q5159269}} <math>I(X_1, X_2, ..., X_{i}; Y_i|Y_1, Y_2, ..., Y_{i-1})</math>.

На відміну від ''взаємної'' інформації, ''спрямована'' інформація не симетрична. <math>I(X^n\to Y^n)</math> вимірює кількість інформації, що передається причинно{{прояснити|comment=визначення причинного передавання?}} від <math>X^n</math> до <math>Y^n</math>. Спрямована інформація знаходить широке застосування в задачах, де важливу роль відіграє [[причинність]], як-от [[пропускна спроможність каналу]] зі зворотним зв'язком,<ref name=massey>{{citation |last1=Massey|first1=James|contribution=Causality, Feedback And Directed Information|date=1990|title=Proc. 1990 Intl. Symp. on Info. Th. and its Applications|language=en|citeseerx=10.1.1.36.5688}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=Finite State Channels With Time-Invariant Deterministic Feedback|journal=IEEE Transactions on Information Theory|language=en|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070|s2cid=13178}}</ref> пропускна спроможність дискретних мереж {{li|безпам’яттєвість|без пам'яті|Q176750}} зі зворотним зв'язком,<ref>{{cite journal|last1=Kramer|first1=G.|title=Capacity results for the discrete memoryless network|journal=IEEE Transactions on Information Theory|language=en|date=January 2003|volume=49|issue=1|pages=4–21|doi=10.1109/TIT.2002.806135}}</ref> [[спортивні ставки|ставки]] з причинною додатковою інформацією,<ref>{{cite journal|last1=Permuter|first1=Haim H.|last2=Kim|first2=Young-Han|last3=Weissman|first3=Tsachy|title=Interpretations of Directed Information in Portfolio Theory, Data Compression, and Hypothesis Testing|journal=IEEE Transactions on Information Theory|language=en|date=June 2011|volume=57|issue=6|pages=3248–3259|doi=10.1109/TIT.2011.2136270|arxiv=0912.4872|s2cid=11722596}}</ref> [[Стиснення даних|стиснення]] з причинною додатковою інформацією,<ref>{{cite journal|last1=Simeone|first1=Osvaldo|last2=Permuter|first2=Haim Henri|title=Source Coding When the Side Information May Be Delayed|journal=IEEE Transactions on Information Theory|language=en|date=June 2013|volume=59|issue=6|pages=3607–3618|doi=10.1109/TIT.2013.2248192|arxiv=1109.1293|s2cid=3211485}}</ref>
постановки комунікації [[керування в реальному часі]],<ref>{{cite journal|last1=Charalambous|first1=Charalambos D.|last2=Stavrou|first2=Photios A.|title=Directed Information on Abstract Spaces: Properties and Variational Equalities|journal=IEEE Transactions on Information Theory|language=en|date=August 2016|volume=62|issue=11|pages=6019–6052|doi=10.1109/TIT.2016.2604846|arxiv=1302.3971|s2cid=8107565}}</ref><ref>{{cite journal |last1=Tanaka |first1=Takashi |last2=Esfahani |first2=Peyman Mohajerin |last3=Mitter |first3=Sanjoy K. |title=LQG Control With Minimum Directed Information: Semidefinite Programming Approach |journal=IEEE Transactions on Automatic Control |language=en |date=January 2018 |volume=63 |issue=1 |pages=37–52 |doi=10.1109/TAC.2017.2709618|s2cid=1401958 |url=http://resolver.tudelft.nl/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a |arxiv=1510.04214 |via=TU Delft Repositories |url-status=live |archive-url=https://web.archive.org/web/20240412014101/https://repository.tudelft.nl/islandora/object/uuid:d9db1c11-fbfd-4c0c-b66f-f341b49fa61a/datastream/OBJ/download |archive-date= 12 квітня 2024  }}</ref> та у [[статистична фізика|статистичній фізиці]].<ref>{{cite journal |last1=Vinkler |first1=Dror A |last2=Permuter |first2=Haim H |last3=Merhav |first3=Neri |title=Analogy between gambling and measurement-based work extraction |journal=Journal of Statistical Mechanics: Theory and Experiment |language=en |date=20 квітня 2016 |volume=2016 |issue=4 |pages=043403 |doi=10.1088/1742-5468/2016/04/043403|arxiv=1404.6788 |bibcode=2016JSMTE..04.3403V |s2cid=124719237 }}</ref>

=== Інші кількості ===
До інших важливих інформаційно-теоретичних кількостей належать [[ентропія Реньї]] та [[ентропія Цалліса]] (узагальнення поняття ентропії), [[диференціальна ентропія]] (узагальнення кількостей інформації для неперервних розподілів) та {{li|умовна взаємна інформація||Q5159269}}. Також було запропоновано {{li|прагматична інформація|прагматичну інформацію|Q7237639}} як міру кількості інформації, використаної для ухвалення рішення.

== Теорія кодування ==
{{Unreferenced section|дата=листопад 2024}}{{Main|Теорія кодування}}

[[Файл:CDSCRATCHES.jpg|thumb|right|Зображення подряпин на зчитуваній поверхні ''CD-R''. Музичні й інформаційні ''CD'' кодують з використанням кодів з виправлянням помилок, тому їх можливо прочитати навіть за наявності незначних подряпин, використовуючи [[виявляння й виправляння помилок]].]]

Теорія кодування&nbsp;— одне з найважливіших і найбезпосередніших застосувань теорії інформації. Її можливо поділити на теорію кодування джерела та теорію кодування каналу. Використовуючи статистичний опис даних, теорія інформації визначає кількість бітів, необхідних для опису даних, що є інформаційною ентропією джерела.

* [[Стиснення даних]] (кодування джерела): для задачі стиснення існують дві постановки:
** [[стиснення без втрат]]: дані мусять відновлюватися точно;
** [[стиснення з утратами]]: виділяє стільки бітів, скільки необхідно для відновлення даних із заданим рівнем точності, що вимірюється функцією спотворення. Цей підрозділ теорії інформації називають ''{{li|теорія швидкості — спотворення|теорією швидкості&nbsp;— спотворення|Q843483}}'' ({{lang-en|rate–distortion theory}}).
* [[Код з виправлянням помилок|Коди з виправлянням помилок]] (кодування каналу): тоді як стиснення даних усуває якомога більше надмірності, код з виправлянням помилок додає саме ту надмірність (тобто виправляння помилок), яка необхідна для ефективного й надійного передавання даних зашумленим каналом.

Цей поділ теорії кодування на стиснення й передавання обґрунтовано теоремами про передавання інформації, або теоремами про розділення джерела й каналу, які підтверджують використання бітів як універсальної валюти для інформації в багатьох контекстах. Проте ці теореми справедливі лише в ситуаціях, коли один передавач прагне спілкуватися з одним приймачем. У випадках, коли є понад одного передавача (канал із множинним доступом), понад одного приймача ([[канал мовлення]]) або проміжні «помічники» ({{li|ретрансляційний канал||Q7310895}}, {{lang-en|relay channel}}), чи для загальніших [[комп'ютерна мережа|мереж]], стиснення з подальшим передавання може вже не бути оптимальним.

=== Теорія джерела ===
Будь-який процес, що породжує послідовні повідомлення, можливо розглядати як {{em|[[Адресант|джерело]]}} ({{lang-en|source}}) інформації. Джерело без пам'яті ({{lang-en|memoryless}})&nbsp;— це таке джерело, в якому кожне повідомлення&nbsp;— [[незалежні й однаково розподілені випадкові величини|незалежна й однаково розподілена випадкова величина]], тоді як властивості [[ергодична теорія|ергодичності]] та [[стаціонарний процес|стаціонарності]] накладають менш жорсткі обмеження. Усі такі джерела [[стохастичний процес|стохастичні]]. Ці терміни добре вивчені й поза межами теорії інформації.

==== Швидкість ====
Інформаційна ''[[ентропійна швидкість|швидкість]]'' ({{lang-en|rate}})&nbsp;— це усереднена ентропія на символ. Для джерел без пам'яті це просто ентропія кожного символу, тоді як у випадку стаціонарного стохастичного процесу це

: <math>r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);</math>

тобто умовна ентропія символу за заданих всіх попередньо породжених символів. Для загальнішого випадку не обов'язково стаціонарного процесу ''середня швидкість'' ({{lang-en|average rate}}) це

: <math>r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);</math>

тобто границя спільної ентропії на символ. Для стаціонарних джерел ці два вирази дають однаковий результат.<ref>{{cite book | title = Digital Compression for Multimedia: Principles and Standards | language = en | author = Jerry D. Gibson | publisher = Morgan Kaufmann | year = 1998 | url = https://books.google.com/books?id=aqQ2Ry6spu0C&q=entropy-rate+conditional&pg=PA56 | isbn = 1-55860-369-7 }}</ref>

{{li|Інформаційна швидкість|Інформаційну швидкість|Q834373}} ({{lang-en|information rate}}) визначають як
: <math>r = \lim_{n \to \infty} \frac{1}{n} I(X_1, X_2, \dots X_n;Y_1,Y_2, \dots Y_n);</math>

У теорії інформації часто говорять про «швидкість» або «ентропію» мови. Це доречно, наприклад, коли джерело інформації&nbsp;— англомовна проза. Швидкість джерела інформації пов'язана з його надмірністю та можливістю стиснення, що є предметом {{em|кодування джерела}}.

=== Пропускна спроможність каналу ===
{{Main|Пропускна спроможність каналу}}

Передавання інформації каналом&nbsp;— основний мотив теорії інформації. Проте канали часто не забезпечують точного відтворення сигналу; його якість часто можуть знижувати шум, періоди тиші та інші форми спотворення сигналу.

Розгляньмо процес передавання дискретним каналом. Просту модель процесу подано нижче:

: <math title="Модель каналу">
\xrightarrow[\text{Повідомлення}]{W}
\begin{array}{ |c| }\hline \text{Кодувальник} \\ f_n \\ \hline\end{array} \xrightarrow[\mathrm{\text{Закодована}\atop \text{послідовність}}]{X^n} \begin{array}{ |c| }\hline \text{Канал} \\ p(y|x) \\ \hline\end{array} \xrightarrow[\mathrm{\text{Отримана} \atop \text{послідовність}}]{Y^n} \begin{array}{ |c| }\hline \text{Декодувальник} \\ g_n \\ \hline\end{array} \xrightarrow[\mathrm{\text{Гадане} \atop \text{повідомлення}}]{\hat W}</math>

Тут ''X'' подає простір передаваних повідомлень, а ''Y''&nbsp;— простір отримуваних повідомлень за одиницю часу нашим каналом. Нехай {{math|''p''(''y''{{pipe}}''x'')}}&nbsp;— [[умовна ймовірність]] ''Y'' за заданого ''X''. Розгляньмо {{math|''p''(''y''{{pipe}}''x'')}} як притаманну незмінну властивість нашого каналу (що відображає природу його ''[[завади|шуму]]''). Тоді спільний розподіл ''X'' та ''Y'' повністю визначається нашим каналом і вибором {{math|''f''(''x'')}}, [[відособлений розподіл|відособленого розподілу]] повідомлень, які ми обираємо для передавання каналом. За цих обмежень ми би хотіли максимізувати швидкість інформації, або ''[[сигнал (електротехніка)|сигнал]]'', який можливо передавати цим каналом. Відповідною мірою для цього є взаємна інформація, і цю максимальну взаємну інформацію називають {{em|пропускною спроможністю каналу}} ({{lang-en|channel capacity}}), та задають як
: <math> C = \max_{f} I(X;Y).\! </math>
Ця пропускна спроможність має наступну властивість, пов'язану з передаванням на інформаційній швидкості ''R'' (де ''R'' зазвичай вимірюють у бітах на символ). Для будь-якої інформаційної швидкості ''R'' < ''C'' та похибки кодування ''ε'' > 0, за достатньо великого ''N'', існує кодування довжини ''N'', швидкість ≥ R та алгоритм декодування, такі, що максимальна ймовірність помилки в блоці ≤ ''ε''; тобто завжди можливо передавати з довільно малою блоковою похибкою. Крім того, для будь-якої швидкості ''R'' > ''C'' передавати з довільно малою блоковою похибкою неможливо.

''[[Канальне кодування]]'' ({{lang-en|channel coding}}) займається пошуком таких майже оптимальних кодувань, які можливо використовувати для передавання даних зашумленим каналом з невеликою кодувальною похибкою на швидкості, наближеній до пропускної спроможності каналу.

==== Пропускна спроможність окремих моделей каналів ====
* Канал аналогового передавання безперервного часу, підданий [[гауссів шум|гауссовому шуму]],&nbsp;— див. [[теорема Шеннона — Гартлі|теорему Шеннона&nbsp;— Гартлі]].
* {{li|Двійковий симетричний канал||Q863510}} (ДСК) з імовірністю спотворення ''p''&nbsp;— це канал із бінарним входом і бінарним виходом, який змінює вхідний біт на протилежний з імовірністю ''p''. ДСК має пропускну спроможність {{math|1 - ''H''<sub>b</sub>(''p'')}} бітів на одне використання каналу, де {{math|''H''<sub>b</sub>}}&nbsp;— функція бінарної ентропії для логарифму за основою 2:

:: [[Файл:Binary symmetric channel.svg]]

* {{li|Двійковий канал зі стиранням||Q864142}} (ДКС) з імовірністю стирання ''p''&nbsp;— це канал із бінарним входом та тернарним виходом. Можливі виходи каналу&nbsp;— 0, 1 та третій символ '<nowiki/>''e''<nowiki/>', званий стиранням ({{lang-en|erasure}}). Стирання подає повну втрату інформації про вхідний біт. Пропускна спроможність ДКС становить {{nowrap|1 - ''p''}} бітів на одне використання каналу.

:: [[Файл:Binary erasure channel.svg]]

==== Канали з пам'яттю та спрямована інформація ====
На практиці багато каналів мають пам'ять. Тобто, у момент часу <math> i </math> канал визначається умовною ймовірністю <math> P(y_i|x_i,x_{i-1},x_{i-2},...,x_1,y_{i-1},y_{i-2},...,y_1) </math>.
Часто зручніше використовувати запис <math> x^i=(x_i,x_{i-1},x_{i-2},...,x_1) </math>, тоді канал стає <math> P(y_i|x^i,y^{i-1}) </math>.
У такому випадку пропускна спроможність визначається швидкістю [[взаємна інформація|взаємної інформації]], коли зворотний зв'язок недоступний, та швидкістю {{li|спрямована інформація|спрямованої інформації|Q28455697}}, якщо зворотний зв'язок наявний чи відсутній<ref name=massey/><ref>{{cite journal |last1=Permuter |first1=Haim Henry |last2=Weissman |first2=Tsachy |last3=Goldsmith |first3=Andrea J. |title=Finite State Channels With Time-Invariant Deterministic Feedback |journal=IEEE Transactions on Information Theory |language=en |date=February 2009 |volume=55 |issue=2 |pages=644–662 |doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070 |s2cid=13178 }}</ref> (якщо зворотний зв'язок відсутній, спрямована інформація дорівнює взаємній інформації).

=== Замінна інформація ===
'''Замінна інформація''' ({{lang-en|fungible information}})&nbsp;— це [[інформація]], для якої засоби [[код]]ування не мають значення.<ref>{{cite journal|last=Bartlett|first=Stephen D. |author2=Rudolph, Terry|author3-link=Роберт Спеккенс|author3=Spekkens, Robert W.|title=Reference frames, superselection rules, and quantum information|journal=Reviews of Modern Physics|language=en|volume=79|issue=2|date=April–June 2007|pages=555–606|doi=10.1103/RevModPhys.79.555|bibcode=2007RvMP...79..555B|arxiv = quant-ph/0610030 }}</ref> Класичні теоретики інформації та спеціалісти з комп'ютерних наук здебільшого цікавляться інформацією саме цього типу. Іноді її називають вимовною ({{lang-en|speakable}}) інформацією.<ref>{{cite book | last = Peres | first = A.| title = Quantum Theory: Reconsideration of Foundations | language = en | publisher = Växjö University Press, Växjö, Sweden| year = 2002b|editor = A. Khrennikov|page=283 |author2=P. F. Scudo}}</ref>

== Застосування в інших галузях ==

=== Використання в розвідці та прикладна секретність ===
{{Unreferenced section|дата=листопад 2024}}
Поняття теорії інформації застосовні до криптографії та криптоаналізу. Одиницю інформації, введену Тюрінгом&nbsp;— [[бан (одиниця виміру)|бан]], використовували у проекті «{{li|Ультра (криптографія)|Ультра|Q825712}}» для зламування коду німецької [[Енігма (машина)|машини «Енігма»]], що прискорило [[День Перемоги в Європі|завершення Другої світової війни в Європі]]. Сам Шеннон визначив важливе поняття, відоме тепер як [[відстань єдиності]]. Виходячи з надмірності [[відкритий текст|відкритого тексту]], це поняття намагається оцінити мінімальну кількість [[шифротекст]]у, необхідну для забезпечення унікальної розшифровуваності.

Теорія інформації підказує нам, що зберігати секрети набагато складніше, ніж може здатися на перший погляд. [[Атака повним перебором]] може зламувати системи на основі [[криптографія з відкритим ключем|асиметричних ключів]], або більшості широко використовуваних методів [[шифрування з симетричними ключами]] (іноді званих алгоритмами з секретним ключем), як-от [[блоковий шифр|блокового шифру]]. Безпека всіх таких методів ґрунтується на припущенні, що не існує відомих атак, здатних зламати їх за практично прийнятний час.

{{li|Інформаційно-теоретична безпека||Q3510462}} охоплює такі методи як [[одноразовий блокнот]], що не вразливі до подібних атак повним перебором. У таких випадках додатна умовна взаємна інформація між відкритим і шифрованим текстом (обумовлена [[ключ (криптографія)|ключем]]) може забезпечувати належну передачу, тоді як безумовна взаємна інформація між відкритим і шифрованим текстом залишається нульовою, що забезпечує абсолютно захищений зв'язок. Іншими словами, перехоплювач не зможе покращити свої припущення щодо відкритого тексту, здобувши інформацію про шифротекст без ключа. Проте, як і в будь-якій іншій криптографічній системі, для правильного застосування навіть інформаційно-теоретично захищених методів потрібно бути уважними; [[проєкт «Венона»]] виявився здатним зламати одноразові блокноти Радянського Союзу через їхнє неналежне повторне використання ключового матеріалу.

=== Генерування псевдовипадкових чисел ===
{{Unreferenced section|дата=листопад 2024}}
[[Генератор псевдовипадкових чисел|Генератори псевдовипадкових чисел]] широко доступні в бібліотеках мов програмування та прикладних програмах. Проте майже повсюдно вони непридатні для криптографічного застосування, оскільки не обходять детерміновану природу сучасного комп'ютерного обладнання та програмного забезпечення. Один з класів удосконалених генераторів випадкових чисел називають [[криптографічно стійкий генератор псевдовипадкових чисел|криптографічно стійкими генераторами псевдовипадкових чисел]], але навіть вони потребують для належної роботи [[випадкове початкове значення|випадкових початкових значень]] ззовні програмного забезпечення. Їх можливо отримувати за допомогою {{li|екстрактор (математика)|екстракторів|Q5422192}}, якщо робити це належним чином. Мірою достатньої випадковості в екстракторах є {{li|мін-ентропія||Q17103874}}, величина, пов'язана з ентропією Шеннона через [[ентропія Реньї|ентропію Реньї]]; ентропію Реньї також використовують для оцінювання випадковості в криптографічних системах. Хоч ці міри й пов'язані, відмінності між ними означають, що випадкова величина з високою ентропією Шеннона не обов'язково задовільна для використання в екстракторі та, відповідно, в криптографії.

=== Сейсмічна розвідка ===
Одним із ранніх комерційних застосувань теорії інформації була галузь сейсмічного розвідування нафти. Робота в цій галузі уможливила відокремлювання небажаного шуму від потрібного сейсмічного сигналу. Теорія інформації та [[цифрова обробка сигналів]] пропонують значне підвищення роздільності та чіткості зображень порівняно з попередніми аналоговими методами.<ref>{{cite journal|doi=10.1002/smj.4250020202 | volume=2 | issue=2 | title=The corporation and innovation | year=1981 | journal=Strategic Management Journal | language=en | pages=97–118 | last1 = Haggerty | first1 = Patrick E.}}</ref>

=== Семіотика ===
[[Семіотика|Семіотики]] {{li|Дуде Наута||Q3315348}} та {{li|Вінфрід Ньот||Q124624}} у своїх працях із семіотики розглядали [[Чарлз Сандерс Пірс|Чарлза Сандерса Пірса]] як творця теорії інформації.<ref name="Nauta 1972">{{cite book |last1=Nauta |first1=Doede |title=The Meaning of Information |language=en |date=1972 |publisher=Mouton |location=The Hague |isbn=9789027919960}}</ref>{{rp|171}}<ref name="Nöth 2012">{{cite journal |last1=Nöth |first1=Winfried |title=Charles S. Peirce's theory of information: a theory of the growth of symbols and of knowledge |journal=Cybernetics and Human Knowing |language=en |date=January 2012 |volume=19 |issue=1–2 |pages=137–161 |url=https://edisciplinas.usp.br/mod/resource/view.php?id=2311849}}</ref>{{rp|137}} Наута визначав семіотичну теорію інформації як дослідження «''внутрішніх процесів кодування, фільтрування та обробки інформації.''»<ref name="Nauta 1972"/>{{rp|91}}

Поняття з теорії інформації, як-от керування надмірністю та кодом, використовували такі семіотики як [[Умберто Еко]] та {{li|Ферруччо Россі-Ланді||Q16555816}} для пояснення ідеології як форми передавання повідомлення, за якої домінантний соціальний клас передає своє повідомлення, використовуючи знаки з високим рівнем надмірності, так що з множини конкурентних повідомлень декодується лише одне.<ref>Nöth, Winfried (1981). "[https://kobra.uni-kassel.de/bitstream/handle/123456789/2014122246977/semi_2004_002.pdf?sequence=1&isAllowed=y Semiotics of ideology]". ''Semiotica'' {{ref-en}}, Issue 148.</ref>

=== Організація інтегрованої обробки нейронної інформації ===
Кількісні методи теорії інформації застосували у [[когнітивістика|когнітивістиці]] для аналізу організації інтегрованої обробки нейронної інформації в контексті {{li|проблема зв'язування|проблеми зв'язування|Q863678}} в [[когнітивна нейронаука|когнітивній нейронауці]].<ref>{{cite book|last=Maurer|first=H.|year=2021|title=Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism|language=en|publisher=CRC Press|location=Boca Raton/FL|chapter=Chapter 10: Systematic Class of Information Based Architecture Types|isbn=978-1-351-04352-6|doi=10.1201/9781351043526}}</ref> У цьому контексті визначають або інформаційно-теоретичну міру, таку як {{em|функційні кластери}} ({{lang-en|functional clusters}}, модель функційного кластерування та гіпотеза динамічного ядра (ГДЯ, {{lang-en|dynamic core hypothesis, DCH}}) [[Джеральд Едельман|Джеральда Едельмана]] та [[Джуліо Тононі]]<ref>{{cite book|last1=Edelman|first1=G.M.|first2=G.|last2=Tononi|year=2000|title=A Universe of Consciousness: How Matter Becomes Imagination|url=https://archive.org/details/universeofconsci0000edel_p9u5|language=en|publisher=Basic Books|location=New York|isbn=978-0465013777}}</ref>) або {{em|ефективна інформація}} ({{lang-en|effective information}}, {{li|теорія інтегрованої інформації||Q6042884}} (ТІІ, {{lang-en|integrated information theory, IIT}}) свідомості Тононі<ref>{{cite journal|last1=Tononi|first1=G.|first2=O.|last2=Sporns|year=2003|title=Measuring information integration|journal=BMC Neuroscience|language=en|volume=4|pages=1–20|doi=10.1186/1471-2202-4-31|doi-access=free |pmid=14641936 |pmc=331407 }}</ref><ref>{{cite journal|last=Tononi|first=G.|year=2004a|title=An information integration theory of consciousness|journal=BMC Neuroscience|language=en|volume=5|pages=1–22|doi=10.1186/1471-2202-5-42|doi-access=free |pmid=15522121 |pmc=543470 }}</ref><ref>{{cite book|last=Tononi|first=G.|year=2004b|chapter=Consciousness and the brain: theoretical aspects|editor1-first=G.|editor1-last=Adelman|editor2-first=B.|editor2-last=Smith|title=Encyclopedia of Neuroscience|language=en|edition=3rd|publisher=Elsevier|location=Amsterdam, Oxford|chapter-url=https://www.researchgate.net/publication/265238140|archive-url=https://web.archive.org/web/20231202031406/https://www.jsmf.org/meetings/2003/nov/consciousness_encyclopedia_2003.pdf|archive-date=2023-12-02|url-status=live|isbn=0-444-51432-5}}</ref>), що ґрунтується на повторновикористовній організації обробки, тобто синхронізації нейрофізіологічної активності між групами нейронних сукупностей, або міру мінімізації вільної енергії на основі статистичних методів ([[принцип вільної енергії]] [[Карл Фрістон|Карла Фрістана]], інформаційно-теоретична міра, яка стверджує, що кожна адаптивна зміна в самоорганізовній системі веде до мінімізації вільної енергії, та гіпотеза {{li|баєсів мозок|баєсового мозку|Q4874464}}<ref>{{cite journal|last1=Friston|first1=K.|first2=K.E.|last2=Stephan|year=2007|title=Free-energy and the brain|journal=Synthese|language=en|volume=159|issue=3 |pages=417–458|doi=10.1007/s11229-007-9237-y|pmid=19325932 |pmc=2660582 }}</ref><ref>{{cite journal|last=Friston|first=K.|year=2010|title=The free-energy principle: a unified brain theory|journal=Nature Reviews Neuroscience|language=en|volume=11|issue=2 |pages=127–138|doi=10.1038/nrn2787|pmid=20068583 }}</ref><ref>{{cite journal|last1=Friston|first1=K.|first2=M.|last2=Breakstear|first3=G.|last3=Deco|year=2012|title=Perception and self-organized instability|journal=Frontiers in Computational Neuroscience|language=en|volume=6|pages=1–19|doi=10.3389/fncom.2012.00044|doi-access=free |pmid=22783185 |pmc=3390798 }}</ref><ref>{{cite journal|last=Friston|first=K.|year=2013|title=Life as we know it|journal=Journal of the Royal Society Interface|language=en|volume=10|issue=86 |pages=20130475|doi=10.1098/rsif.2013.0475|pmid=23825119 |pmc=3730701 }}</ref><ref>{{cite journal|last1=Kirchhoff|first1=M.|first2=T.|last2=Parr|first3=E.|last3=Palacios|first4=K.|last4=Friston|first5=J.|last5=Kiverstein|year=2018|title=The Markov blankets of life: autonomy, active inference and the free energy principle|journal=Journal of the Royal Society Interface|language=en|volume=15|issue=138 |pages=20170792|doi=10.1098/rsif.2017.0792|pmid=29343629 |pmc=5805980 }}</ref>).

=== Інші застосування ===
Теорія інформації також знаходить застосування у [[пошук позаземного розуму|пошуку позаземного розуму]],<ref>{{Cite journal |last1=Doyle |first1=Laurance R. |author-link=Лоренс Дойл |last2=McCowan |first2=Brenda |author-link2=Бренда Маккован |last3=Johnston |first3=Simon |last4=Hanser |first4=Sean F. |date=February 2011 |title=Information theory, animal communication, and the search for extraterrestrial intelligence |journal=[[Acta Astronautica]] |language=en |volume=68 |issue=3–4 |pages=406–417 |doi=10.1016/j.actaastro.2009.11.018|bibcode=2011AcAau..68..406D }}</ref> дослідженні [[інформаційний парадокс чорної діри|чорних дір]], [[біоінформатика|біоінформатиці]]{{cn|дата=листопад 2024}}, та {{li|ставки й теорія інформації|ста́вках|Q5519695}}.

== Див. також ==
{{Portal|Математика}}
{{cols|colwidth=21em}}
* {{li|Алгоритмічна ймовірність||Q4724365}}
* [[Баєсове висновування]]
* {{li|Індуктивна ймовірність||Q17050471}}
* {{li|Інфо-метрика||Q48998519}}
* [[Мінімальна довжина опису]]
* [[Мінімальна довжина повідомлення]]
* {{li|Теорія конструкторів||Q17005753}}&nbsp;— узагальнення теорії інформації, яке охоплює квантову інформацію
* [[Теорія масового спілкування]]
* [[Філософія інформації]]
* [[Формальні науки]]
{{colend}}

=== Застосування ===
{{cols}}
* [[Азартні ігри]]
* {{li|Активна мережа|Активні мережі|Q4677571}}
* {{li|Ентропія в термодинаміці та теорії інформації||Q5380803}}
* [[Кібернетика]]
* [[Криптоаналіз]]
* [[Криптографія]]
* [[Розвідка (збирання інформації)]]
* [[Метод відбитих хвиль|Сейсмічна розвідка]]
{{colend}}

=== Історія ===
* [[Ральф Гартлі|Гартлі, Р.&nbsp;В.&nbsp;Л.]]
* {{li|Історія теорії інформації||Q5868014}}
* {{li|Г'юберт Йокі|Йокі, Г.&nbsp;П.|Q13636788}}
* {{li|Хронологія розвитку теорії інформації||Q3698567}}
* [[Клод Шеннон|Шеннон, К.&nbsp;Е.]]
* [[Андрій Колмогоров]]

=== Теорія ===
{{div col|colwidth=16em}}
* {{li|Алгебра інформації||Q6030963}}
* [[Асиметрична інформація]]
* {{li|Інформаційна геометрія||Q3798604}}
* {{li|Інформаційна теорія поля||Q19597589}}
* [[Інформація за Фішером]]
* [[Квантова інформатика]]
* [[Кодування джерела]]
* [[Колмогоровська складність]]
* {{li|Логіка інформації||Q6667468}}
* {{li|Мережне кодування||Q1089578}}
* {{li|Перелік нерозв'язаних проблем теорії інформації||Q18208307}}
* [[Теорія виявляння]]
* {{li|Теорія інформації та теорія міри||Q6031263}}
* [[Теорія кодування]]
* [[Теорія оцінювання]]
* [[Філософія інформації]]
{{div col end}}

=== Поняття ===
{{div col|colwidth=16em}}
* [[Бан (одиниця виміру)]]
* [[Взаємна інформація]]
* [[Відстань Геммінга]]
* [[Відстань єдиності]]
* [[Власна інформація]]
* Декодувальник
* [[Адресант|Джерело інформації]]
* [[Диференціальна ентропія]]
* [[Ентропія Реньї]]
* [[Замінна інформація]]
* [[Інформаційна ентропія]]
* {{li|Інформаційно-флуктуаційна складність||Q92770918}}
* [[Канал зв'язку]]
* [[Надмірність (теорія інформації)|Надмірність]]
* [[Перплексивність]]
* [[Поточкова взаємна інформація]] (ПВІ)
* {{li|Приймач (теорія інформації)||Q1339255}}
* [[Прихований канал]]
* [[Пропускна спроможність каналу]]
* {{li|Різноманітність (кібернетика)|Різноманітність|Q1729295}}
* [[Розходження Кульбака — Лейблера]]
* [[Спільна ентропія]]
* [[Стиснення даних]]
* [[Умовна ентропія]]
{{div col end}}

== Примітки ==
{{Примітки}}

== Література ==

=== Класичні праці ===
{{refbegin}}
* [[Клод Шеннон|Shannon, C.E.]] (1948), "[[Математична теорія зв'язку (стаття)|A Mathematical Theory of Communication]]", ''Bell System Technical Journal'' {{ref-en}}, 27, pp.&nbsp;379–423 & 623–656, July & October, 1948. [http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf PDF.] <br />[https://web.archive.org/web/20150409204946/http://cm.bell-labs.com/cm/ms/what/shannonday/paper.html Примітки та інші формати.]
* R.V.L. Hartley, [http://www.dotrose.com/etext/90_Miscellaneous/transmission_of_information_1928b.pdf "Transmission of Information"], ''Bell System Technical Journal'' {{ref-en}}, July 1928
* [[Колмогоров Андрій Миколайович|Andrey Kolmogorov]] (1968), "[https://www.tandfonline.com/doi/pdf/10.1080/00207166808803030 Three approaches to the quantitative definition of information]" in ''{{li|International Journal of Computer Mathematics||Q13359486}}'' {{ref-en}}, 2, pp.&nbsp;157–168. ({{cite journal|first=А.&nbsp;Н.|last=Колмогоров|title=Три подхода к определению понятия «количество информации»|journal=Пробл. передачи информ.|language=ru|volume=1|issue=1|year=1965|pages=3–11|url=https://www.mathnet.ru/rus/ppi68|archive-url=https://web.archive.org/web/20170626120843/https://www.mathnet.ru/rus/ppi68|archive-date=2017-06-26|url-status=live}})
{{refend}}

=== Інші журнальні статті ===
{{refbegin|}}
* J. L. Kelly Jr., [http://www.princeton.edu/~wbialek/rome/refs/kelly_56.pdf Princeton], "A New Interpretation of Information Rate" ''Bell System Technical Journal'' {{ref-en}}, Vol. 35, July 1956, pp.&nbsp;917–26.
* R. Landauer, [https://archive.today/20071016185253/http://ieeexplore.ieee.org/search/wrapper.jsp?arnumber=615478 IEEE.org], "Information is Physical" ''Proc. Workshop on Physics and Computation PhysComp'92'' {{ref-en}} (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp.&nbsp;1–4.
* {{cite journal|last1=Landauer|first1=R.|year=1961|title=Irreversibility and Heat Generation in the Computing Process|url=http://www.research.ibm.com/journal/rd/441/landauerii.pdf|journal=IBM J. Res. Dev.|language=en|volume=5|issue=3|pages=183–191|doi=10.1147/rd.53.0183}}
* {{cite arXiv|last1=Timme|first1=Nicholas|last2=Alford|first2=Wesley|last3=Flecker|first3=Benjamin|last4=Beggs|first4=John M.|date=2012|title=Multivariate information measures: an experimentalist's perspective|language=en|eprint=1111.6857|class=cs.IT}}
{{refend}}

=== Підручники з теорії інформації ===
{{refbegin}}
* Alajaji, F. and Chen, P.N. An Introduction to Single-User Information Theory. {{ref-en}} Singapore: Springer, 2018. {{isbn|978-981-10-8000-5}}
* Arndt, C.  ''Information Measures, Information and its Description in Science and Engineering'' {{ref-en}} (Springer Series: Signals and Communication Technology), 2004, {{isbn|978-3-540-40855-0}}
* {{cite book | title = Information Theory | language = en | first = Robert B. | last = Ash | location = New York | publisher = Dover Publications, Inc. | orig-year = 1965| year = 1990 | isbn = 0-486-66521-6 | url = https://books.google.com/books?id=ngZhvUfF0UIC&q=intitle:information+intitle:theory+inauthor:ash+conditional+uncertainty&pg=PA16 | ref = harv}}
* [[Роберт Галлагер|Gallager, R]]. ''Information Theory and Reliable Communication.'' {{ref-en}} New York: John Wiley and Sons, 1968. {{isbn|0-471-29048-3}}
* Goldman, S. ''Information Theory''. {{ref-en}} New York: Prentice Hall, 1953. New York: Dover 1968 {{isbn|0-486-62209-6}}, 2005 {{isbn|0-486-44271-3}}
* {{cite book |last1=Cover |first1=Thomas |author-link1=Томас Ковер |last2=Thomas |first2=Joy A. |title=Elements of information theory |url=https://archive.org/details/elementsofinform0000cove_m4w2 |language=en |edition=2nd |location=New York |publisher=[[Wiley-Interscience]] |date=2006 |isbn=0-471-24195-4}}
* [[Імре Чісар|Csiszar, I]], Korner, J. ''Information Theory: Coding Theorems for Discrete Memoryless Systems'' {{ref-en}}  Akademiai Kiado: 2nd edition, 1997. {{isbn|963-05-7440-3}}
* {{li|Девід Маккей|MacKay, David J. C.|Q446862}} ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' {{ref-en}} Cambridge: Cambridge University Press, 2003. {{isbn|0-521-64298-1}}
* Mansuripur, M. ''Introduction to Information Theory''. {{ref-en}} New York: Prentice Hall, 1987. {{isbn|0-13-484668-0}}
* {{li|Роберт Макеліс|McEliece, R|Q840535}}. ''The Theory of Information and Coding''. {{ref-en}} Cambridge, 2002.  {{isbn|978-0521831857}}
* [[Джон Пірс|Pierce, JR]].  "An introduction to information theory: symbols, signals and noise". {{ref-en}} Dover (2nd Edition). 1961 (перевидано Dover 1980).
* {{cite book | title = An Introduction to Information Theory | language = en | first = Fazlollah M. | last = Reza | author-link=Фазлолла Реза| publisher = Dover Publications, Inc. | location = New York | orig-year = 1961| year = 1994 | isbn = 0-486-68210-2 | url = https://books.google.com/books?id=RtzpRAiX6OgC&q=intitle:%22An+Introduction+to+Information+Theory%22++%22entropy+of+a+simple+source%22&pg=PA8 | ref = harv}}
* {{cite book |last1=Shannon |first1=Claude |author-link1=Клод Шеннон |last2=Weaver |first2=Warren |author-link2=Воррен Вівер |date=1949 |title=The Mathematical Theory of Communication |url=http://monoskop.org/images/b/be/Shannon_Claude_E_Weaver_Warren_The_Mathematical_Theory_of_Communication_1963.pdf |language=en |location=[[Urbana, Illinois]] |publisher=[[University of Illinois Press]] |lccn=49-11922 |isbn=0-252-72548-4}}
* Stone, JV.  Chapter 1 of book [https://jamesstone.sites.sheffield.ac.uk/books/information-theory-2nd-edition "Information Theory: A Tutorial Introduction"] {{ref-en}}, University of Sheffield, England, 2014. {{isbn|978-0956372857}}.
* Yeung, RW.  ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book/ A First Course in Information Theory]'' {{ref-en}} Kluwer Academic/Plenum Publishers, 2002.  {{isbn|0-306-46791-7}}.
* Yeung, RW.  ''[http://iest2.ie.cuhk.edu.hk/~whyeung/book2/ Information Theory and Network Coding]'' {{ref-en}} Springer 2008, 2002.  {{isbn|978-0-387-79233-0}}
{{refend}}

==== Українською ====
{{refbegin|}}
* {{cite book|last1=Жураковський|first1=Ю.П.|last2=Полторак|first2=В.П.|year=2001|title=Теорія інформації та кодування|language=uk|location=Київ|publisher=[[Вища школа (видавництво)|Вища школа]]|ref=harv|url=https://chtyvo.org.ua/authors/Zhurakovskyi_Yurii/Teoria_informatsii_ta_koduvannia.pdf}}
* {{cite book|last1=Жураковський|first1=Ю. П.|last2=Гніліцький|first2=В. В.|year=2002|title=Теорія інформації та кодування в задачах: Навчальний посібник|language=uk|location=Житомир|publisher=[[Житомирський інженерно-технологічний інститут|ЖІТІ]]|ref=harv|url=https://er.nau.edu.ua/handle/NAU/12049|archive-url=https://web.archive.org/web/20240723002627/https://er.nau.edu.ua/handle/NAU/12049|archive-date=2024-07-23|url-status=live}}
* {{cite book|last1=Кожевников|first1=В.Л.|last2=Кожевников|first2=А.В.|year=2012|title=Теорія інформації та кодування|language=uk|location=Дніпро|publisher=[[Національний гірничий університет|НГУ]]|ref=harv|url=https://ir.nmu.org.ua/jspui/bitstream/123456789/1832/1/НТБ453202.pdf|archive-url=https://web.archive.org/web/20220325114721/https://ir.nmu.org.ua/jspui/bitstream/123456789/1832/1/НТБ453202.pdf|archive-date=2022-03-25|url-status=dead}}
* {{cite book|last=Коваленко|first=А.Є.|year=2020|title=Теорія інформації і кодування: курс лекцій|language=uk|location=Київ|publisher=[[Київський політехнічний інститут|КПІ]]|ref=harv|url=https://ela.kpi.ua/bitstream/123456789/41907/1/Kovalenko_AE_TIK_KursLecY20.pdf|archive-url=https://web.archive.org/web/20230726140647/https://ela.kpi.ua/bitstream/123456789/41907/1/Kovalenko_AE_TIK_KursLecY20.pdf|archive-date=2023-07-26|url-status=live}}
* {{cite book|last1=Гусєв|first1=О.Ю.|last2=Конахович|first2=Г.Ф.|last3=Корнієнко|first3=В.І.|last4=Кузнецов|first4=Г.В.|last5=Пузиренко|first5=О.Ю.|year=2010|title=Теорія електричного зв'язку. Навчальний посібник|language=uk|location=Львів|publisher=Магнолія 2006|isbn=978-966-2025-97-2|url=https://tks.nau.edu.ua/wp-content/uploads/2016/10/TEORIYA-ELEKTRYCHNOGO-ZVYAZKU.pdf|archive-url=https://web.archive.org/web/20240518122405/https://tks.nau.edu.ua/wp-content/uploads/2016/10/TEORIYA-ELEKTRYCHNOGO-ZVYAZKU.pdf|archive-date=2024-05-18|url-status=live}}
* {{cite book|last1=Білинський|first1=Й.Й.|last2=Огородник|first2=К.В.|last3=Юкиш|first3=М.Й.|year=2011|title=Електронні системи. Навчальний посібник|language=uk|location=Вінниця|publisher=[[Вінницький національний технічний університет|ВНТУ]]|url=http://library.kre.dp.ua/Books/2-4%20kurs/Електронні%20прилади%20та%20мікроелектроніка/Білинський_Й.Й_Електронні_системи_Вінниця_ВНТУ_2011.pdf|archive-url=https://web.archive.org/web/20240629163947/http://library.kre.dp.ua/Books/2-4%20kurs/Електронні%20прилади%20та%20мікроелектроніка/Білинський_Й.Й_Електронні_системи_Вінниця_ВНТУ_2011.pdf|archive-date=2024-06-29|url-status=live}}
* {{cite book|last=Партико|first=З.В.|authorlink=Партико Зіновій Васильович|year=2001|title=Образна концепція теорії інформації|language=uk,en|location=Львів|publisher=[[Львівський національний університет|ЛНУ]]|isbn=966-613-046-7}}
{{refend}}

=== Інші книги ===
{{refbegin}}
* Leon Brillouin, ''Science and Information Theory'' {{ref-en}}, Mineola, N.Y.: Dover, [1956, 1962] 2004. {{isbn|0-486-43918-6}}
* {{Cite book |last=Gleick |first=James |author-link=Джеймс Ґлік |title={{li|Інформація: історія, теорія, потік|The Information: A History, a Theory, a Flood|Q7742005}} |url=https://archive.org/details/informationhisto0000glei_j3h6 |publisher=Vintage Books |year=2011 |isbn=978-1-4000-9623-7 |edition=1st |location=New York |language=en |ref=harv}}
* A. I. Khinchin, ''Mathematical Foundations of Information Theory'' {{ref-en}}, New York: Dover, 1957. {{isbn|0-486-60434-9}}
* H. S. Leff and A. F. Rex, Editors, ''Maxwell's Demon: Entropy, Information, Computing'' {{ref-en}}, Princeton University Press, Princeton, New Jersey (1990). {{isbn|0-691-08727-X}}
* {{li|Роберт К. Лоґан|Robert K. Logan|Q7346230}}. ''What is Information? - Propagating Organization in the Biosphere, the Symbolosphere, the Technosphere and the Econosphere'' {{ref-en}}, Toronto: DEMO Publishing.
* Tom Siegfried, ''The Bit and the Pendulum'' {{ref-en}}, Wiley, 2000. {{isbn|0-471-32174-5}}
* {{li|Чарльз Сейфе|Charles Seife|Q152739}}, ''{{li|Декодування Всесвіту|Decoding the Universe|Q21079065}}'' {{ref-en}}, Viking, 2006. {{isbn|0-670-03441-X}}
* Jeremy Campbell, ''{{li|Граматична людина|Grammatical Man|Q5593688}}'' {{ref-en}}, Touchstone/Simon & Schuster, 1982, {{isbn|0-671-44062-4}}
* Henri Theil, ''Economics and Information Theory'' {{ref-en}}, Rand McNally & Company - Chicago, 1967.
* Escolano, Suau, Bonev, ''[https://www.springer.com/computer/image+processing/book/978-1-84882-296-2 Information Theory in Computer Vision and Pattern Recognition]'' {{ref-en}}, Springer, 2009. {{isbn|978-1-84882-296-2}}
* Vlatko Vedral, ''Decoding Reality: The Universe as Quantum Information'' {{ref-en}}, Oxford University Press 2010. {{ISBN|0-19-923769-7}}
{{refend}}

== Посилання ==
{{Wikiquote}}
{{Library resources box}}
* {{SpringerEOM |title=Information |id=p/i051040}}
* Lambert F. L. (1999), "[http://jchemed.chem.wisc.edu/Journal/Issues/1999/Oct/abs1385.html Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!]", ''Journal of Chemical Education'' {{ref-en}}
* [http://www.itsoc.org/ IEEE Information Theory Society] та [https://www.itsoc.org/resources/surveys Монографії, огляди та рецензії ITSOC] {{Webarchive|url=https://web.archive.org/web/20180612144016/https://www.itsoc.org/resources/surveys |date=2018-06-12 }} {{ref-en}}

{{Кібернетика}}
<!-- {{Informatics}} -->
{{Методи стиснення даних}}
{{Розділи математики}}
{{Інформатика}}

{{Authority control}}

{{DEFAULTSORT:Теорія інформації}}
[[Категорія:Теорія інформації| ]]
[[Категорія:Стиснення даних]]
[[Категорія:Кібернетика]]
[[Категорія:Формальні науки]]
[[Категорія:Історія математики]]
[[Категорія:Інформаційна ера]]