Результати пошуку

У [[Теорія інформації|теорії інформації]] '''спі́льна [[Інформаційна ентропія|ентропі́я]]'''&nbsp;— це міра невизначеності, пов'язана з набором [[Випадко Спільна [[ентропія Шеннона]] (в [[біт]]ах) двох змінних <math>X</math> та <math>Y</math> визна ...

У [[Теорія інформації|теорії інформації]] '''перехресна ентропія''' між двома [[Розподіл ймовірностей|розподілами ймовірності]] <math>p</mat Перехресна ентропія двох розподілів <math>p</math> і <math>q</math> на тому самому [[Ймовірнісн ...

{{Otheruses|Інформація}} ...b>…p_n та g₁…g_n, відповідно. Тоді [[Власна інформація|кількість інформації]], що міститься у випадковій величині ξ відносно [[Вип ...

...м такого пов'язаного поняття теорії інформації, як [[Інформаційна ентропія|ентропія]]. Ці два значення не тотожні, і ця стаття описує лише перший сенс. ...|імовірності]] цієї події: що меншою є її ймовірність, то більшою є власна інформація, пов'язана з отриманням інформації про те, що ця подія дійсно відбулася. ...

...(Y)</math>, а синє в ньому є <math>\Eta(Y|X)</math>. Фіолетове є [[Взаємна інформація|взаємною інформацією]] <math>\operatorname{I}(X;Y)</math>.]] ...вувану в наступних формулах [[Одиниця вимірювання|одиницю]] [[Інформаційна ентропія|інформаційної ентропії]] визначає вибір логарифмічної основи. Найзвичнішою ...

...(Y)</math>, а синє в ньому є <math>\Eta(Y|X)</math>. Фіолетове є [[Взаємна інформація|взаємною інформацією]] <math>\operatorname{I}(X;Y)</math>.]] ...диниця вимірювання)|натах]] або [[Гартлі (одиниця вимірювання)|гартлі]]. ''Ентропія <math>Y</math>, обумовлена <math>X</math>'' записується як <math>\Eta(Y|X)< ...

...бов'язково має бути 2: перплексивність не залежить від основи за умови, що ентропія та показникова функція використовують ту ''саму'' основу.) Цей показник так ...&nbsp;— це показникова функція від ентропії, яка є більш точною величиною. Ентропія&nbsp;— це міра очікуваної, або «середньої» кількості бітів, необхідних для ...

...ої на <math>X \subseteq R^n</math> (<math>n<\infty</math>), диференціальна ентропія визначається як ...ниці кількості інформації [[біт]], а функціонал інтерпретується як середня інформація неперервного джерела. У [[Математична статистика|математичній статистиці]] ...

...ково повинна збільшити [[Ентропія|ентропію]] тих ступенів вільності, які [[Інформація|інформації]] не несуть, або ж передати цю ентропію термостату. ...припущення. Обчислення можуть проводитися не тільки за рахунок енергії, а й за рахунок збільшення ентропії, що не пов'язане зі зміною енергії<ref name= ...

...[[протилежність]]. У найзагальнішому сенсі протилежний за змістом ентропії й означає [[Міра|міру]] впорядкованості та організованості системи або якість ...ть і інформація» скоротив термін «негативна ентропія» до слова негентропії й ввів його в такому вигляді за допомогою негентропійного принципу інформації ...

...теорії інформації]] та [[Статистика|статистиці]]. На відміну від [[Взаємна інформація|взаємної інформації]] (ВІ), що будується на ПВІ, вона стосується одиничних [[Взаємна інформація]] (ВІ) випадкових змінних ''X'' та ''Y'' є [[Математичне сподівання|математ ...

...Стиснення даних|метод стиснення даних]], при використанні якого закодована інформація може бути повністю відновлена зі стиснутих даних. Навпаки, [[стиснення з вт ...ти [[TIFF]] та [[MNG]] можуть використовувати стиснення як з втратами, так й без втрат. Формати [[Стиснення звуку#Стиснення без втрат|стиснення звуку бе ...

...ва ієрархія|цифровими каналами зв'язку]]. Рідше вимірюється [[Інформаційна ентропія|кількість інформації]]. ...а для вимірювання кількості інформації застосовували назви «[[інформаційна ентропія]]» і «цінність інформації». ...

...пія|особистою ентропією]] <math>\Eta(X)</math>, в якому червоне є [[Умовна ентропія|умовною ентропією]] <math>\Eta(X|Y)</math>. Коло праворуч (синій та фіолето ...льним поняттям теорії інформації, яке кількісно оцінює очікувану «[[Власна інформація|кількість інформації]]», що міститься у випадковій змінній. ...

...ref-en}}</ref> До його застосувань належать '''відно́сна''' [[Інформаційна ентропія|(шеннонова) '''ентропі́я''']] в інформаційних системах, '''випадко́вість''' ...ділів ймовірності]] <math>P</math> та <math>Q</math>, визначених на одному й тому ж [[Ймовірнісний простір|імовірнісному просторі]], розходженням Кульба ...

...ці: деякі системи можна описати точно, про інші можлива тільки статистична інформація. ...ними]], а процеси другого типу — ні, оскільки супроводжуються зростанням [[ентропія|ентропії]]. Так, спонтанне випромінення енергії збудженим атомом — типовий ...

...ифмічна одиниця]] вимірювання [[Інформація|інформації]] або [[Інформаційна ентропія|ентропії]] на основі [[Логарифм|логарифмів]] за основою 10 та степенів 10, Хоч гартлі й не є [[Міжнародна система одиниць (SI)|одиницею системи SI]], проте він є ч ...

...падку з [[Чорна діра|чорною дірою]], розуміння полягає в тому, що [[Власна інформація|інформаційний вміст]] усіх об'єктів, які потрапили в діру, може повністю мі == Ентропія чорної діри == ...

{{Otheruses|Ентропія (значення)}} ...нує чотири можливі результати, та два біти ентропії. Взагалі, інформаційна ентропія є усередненою кількістю інформації, що несе подія, за розгляду всіх можливи ...

...ня]], [[зберігання даних|зберігання]] та [[телекомунікації|передавання]] [[інформація|інформації]]. Заснував цю галузь і забезпечив їй надійну основу [[Клод Шенн ...каналу]], {{li|показник помилки|показники помилок|Q5395710}} та [[відносна ентропія]]. До важливих підрозділів теорії інформації належать [[кодування джерела]] ...