Перегляд вихідного коду сторінки Хибне використання статистики

'''Хибне використання статистики''' відбувається, коли статистичний аргумент стверджує [[Брехливість|неправду]]. [[Статистика]], якщо її використовувати в хибний спосіб, може змусити випадкового спостерігача повірити в щось інше, ніж те, що показують [[дані]]. У деяких випадках неправильне використання може бути випадковим. В інших&nbsp;— це цілеспрямовано та з метою наживи зловмисника. Якщо залучене статистичне судження хибне або неправильно застосоване, це є '''статистичною [[Логічна хиба|помилкою]]'''.

Використати статистику помилково дуже легко. Професійних вчених, навіть математиків і професійних статистиків, можна обдурити навіть якимись простими методами, навіть якщо вони ретельно все перевіряють. Відомо, що вчені обманюють себе статистикою через брак знань [[Теорія ймовірностей|теорії ймовірностей]] і брак [[Стандартизація|стандартизації]] своїх [[Перевірка статистичних гіпотез|тестів]].

== Визначення, обмеження та контекст ==
Одне з визначень, яке можна використовувати, таке: «Зловживання статистичними даними: використання чисел таким чином, що або навмисно, або через незнання чи необережність, висновки є невиправданими або неправильними». {{Sfn|Spirer|Spirer|Jaffe|1998|с=1}} «Цифри» містять [[Оманливий графік|оманливу графіку]], про яку йдеться в інших місцях. Цей термін рідко зустрічається в статистичних текстах, і невідомо жодного авторитетного визначення. Це узагальнення [[How to Lie with Statistics|брехні за допомогою статистики]], яка була багато описана на прикладах статистиків 60 років тому.

Визначення стикається з деякими проблемами (деякі вирішуються в джерелі):<ref>{{Cite journal|last=Gardenier|first=John|last2=Resnik|first2=David|year=2002|title=The misuse of statistics: concepts, tools, and a research agenda|journal=Accountability in Research: Policies and Quality Assurance|volume=9|issue=2|pages=65–74|doi=10.1080/08989620212968|pmid=12625352}}</ref>

# Статистика зазвичай виробляє ймовірності; висновки тимчасові
# Попередні висновки містять похибки та рівень похибок. Зазвичай 5&nbsp;% попередніх висновків перевірки значущості є помилковими
# Статистики не зовсім згодні щодо ідеальних методів
# Статистичні методи базуються на припущеннях, які рідко повністю виконуються
# Збір даних зазвичай обмежується етичними, практичними та фінансовими обмеженнями.

''[[How to Lie with Statistics|Як брехати за допомогою статистики]]'' визнає, що статистика може ''мати'' різні форми. Про те, чи показує статистика, що продукт «легкий і економічний» чи «неміцний і дешевий», можна говорити незалежно від цифр. Дехто заперечує проти заміни статистичною коректністю морального лідерства (наприклад) як цілі. Покласти провину за зловживання часто важко, оскільки вчені, соціологи, статистики та репортери часто є найманими працівниками або консультантами.

Підступне зловживання статистикою завершується слухачем/спостерігачем/аудиторією/присяжним. Постачальник надає «статистику» у вигляді чисел або графіки (або фотографій до/після), що дозволяє споживачеві зробити (можливо, невиправдані чи неправильні) висновки. Поганий стан {{iw|Статистична грамотність|статистичної грамотності населення||Statistical literacy}} та нестатистична природа людської інтуїції дозволяють вводити в оману без явного отримання помилкових висновків.

Історик перерахував понад 100 помилок у дюжині категорій, включаючи помилки узагальнення та помилки причинно-наслідкових зв'язків.<ref>{{Cite book
|title=Historians' fallacies: toward a logic of historical thought
|last=Fischer
|first=David
|year=1979
|publisher=Harper & Row
|location=New York
|pages=337–338
|isbn=978-0060904982
}}</ref> Деякі з помилок є явно або потенційно статистичними, включаючи помилки вибірки, статистичну нісенітницю, статистичну ймовірність, хибну екстраполяцію, хибну інтерполяцію та підступне узагальнення. Усі технічні/математичні проблеми застосування ймовірності вписуються в єдину зазначену помилку статистичної ймовірності. Багато помилок можуть бути пов'язані зі статистичним аналізом, допускаючи можливість помилкового висновку, що випливає з бездоганного статистичного аналізу.

Прикладом використання статистики є аналіз медичних досліджень. Процес включає<ref>{{Cite journal|last=Strasak|first=Alexander M.|last2=Qamruz Zaman|last3=Karl P. Pfeiffer|last4=Georg Göbel|last5=Hanno Ulmer|year=2007|title=Statistical errors in the medical research-a review of common pitfalls|journal=Swiss Medical Weekly|volume=137|issue=3–4|pages=44–49|doi=10.4414/smw.2007.11587|pmid=17299669}} In this article anything less than the best statistical practice is equated to the potential misuse of statistics. In a few pages 47 potential statistical errors are discussed; errors in study design, data analysis, documentation, presentation and interpretation. «[S]tatisticians should be involved early in study design, as mistakes at this point can have major repercussions, negatively affecting all subsequent stages of medical research.»</ref><ref name="Indrayan2007">{{Cite journal|last=Indrayan|first=Abhaya|year=2007|title=Statistical fallacies in orthopedic research|journal=Indian Journal of Orthopaedics|volume=41|issue=1|pages=37–46|doi=10.4103/0019-5413.30524|pmc=2981893|pmid=21124681}} Contains a rich list of medical misuses of statistics of all types.</ref> [[планування експерименту]], проведення експерименту, аналіз даних, складання логічних висновків і презентацію/звітування. Звіт підсумовано популярною пресою та рекламодавцями. Хибне використання статистики може бути результатом проблем на будь-якому етапі процесу. Статистичні стандарти, які ідеально застосовуються до наукового звіту, значно відрізняються від стандартів, які застосовуються до популярної преси та рекламодавців; однак існують випадки, коли {{iw|Australasian Journal of Bone & Joint Medicine|реклама маскується під науку}}.

== Прості причини ==
Багато хибних використань статистики відбувається тому, що

* Джерело є фахівцем у певній галузі, а не експертом зі статистики.{{Sfn|Spirer|Spirer|Jaffe|1998|місце=chapters 7 & 8}} Джерело може неправильно використовувати метод або неправильно інтерпретувати результат.
* Джерело є статистиком, а не фахівцем.{{Sfn|Spirer|Spirer|Jaffe|1998|місце=chapter 3}} Експерт повинен знати, коли порівнювані числа описують різні речі. Цифри змінюються, як не змінюється реальність, коли змінюються юридичні визначення чи політичні кордони.
* Предмет, який вивчається, не є чітко визначеним {{Sfn|Spirer|Spirer|Jaffe|1998|місце=chapter 4}}, або деякі його аспекти легко визначити кількісно, тоді як інші важко визначити, або не існує відомого методу кількісного визначення (див. [[Помилка Макнамари|помилку Макнамари]]). Наприклад:
** Незважаючи на те, що [[Коефіцієнт інтелекту|тести на IQ]] є чисельними, важко визначити, що вони вимірюють, оскільки інтелект&nbsp;— це невловиме поняття.
** «<nowiki/>[[Коефіцієнт впливовості|Впливовість]]<nowiki/>» видання має ту саму проблему.<ref>{{Cite journal|last=Adler|first=Robert|last2=John Ewing|last3=Peter Taylor|year=2009|title=Citation statistics|journal=Statistical Science|volume=24|issue=1|pages=1–14|doi=10.1214/09-STS285|doi-access=free}}</ref> Наукові статті та наукові журнали часто оцінюють за «впливовістю», яку кількісно визначається як кількість цитувань у пізніших публікацій. Математики та статистики дійшли висновку, що показник впливовості (хоч і відносно об'єктивний) не є дуже значущим показником. «Єдина опора на дані цитування забезпечують в кращому випадку неповне і часто поверхове розуміння досліждення. Цифри за своєю суттю не є вищими за розумні судження».
** Здавалося б, просте питання про кількість слів в англійській мові відразу натикається на питання про архаїчні форми, облік префіксів і суфіксів, багатозначність слова, варіанти написання, діалекти, вигадливі твори (як ектопластика з ектоплазми і статистика) {{sfn|Spirer|Spirer|Jaffe|1998|loc=chapter title}}, {{Sfn|Spirer|Spirer|Jaffe|1998|місце=chapter title}} технічну лексику тощо.
* Якість даних низька. {{Sfn|Spirer|Spirer|Jaffe|1998|місце=chapter 5}} Прикладом є розміри одягу. Люди мають широкий діапазон розмірів і форм тіла. Очевидно, що розміри одягу повинні бути багатовимірними. Натомість вони складні несподіваним чином. Деякий [[Розміри одягу|одяг]] продається лише за розміром (без прямого врахування форми тіла), розміри залежать від країни та виробника, а деякі розміри навмисно вводять в оману. Хоча розміри є числовими, за умови обережного використання числових значень розмірів, можливий лише найгрубіший статистичний аналіз.
* Популярна преса має обмежений досвід і змішані мотиви.<ref>{{Citation|last=Weatherburn|first=Don|title=Uses and abuses of crime statistics|journal=Crime and Justice Bulletin: Contemporary Issues in Crime and Justice|publisher=NSW Bureau of Crime Statistics and Research|issn=1030-1046|volume=153|isbn=9781921824357|date=November 2011|url=http://www.bocsar.nsw.gov.au/agdbasev7wr/bocsar/documents/pdf/cjb153.pdf|archiveurl=https://web.archive.org/web/20140621205347/http://www.bocsar.nsw.gov.au/agdbasev7wr/bocsar/documents/pdf/cjb153.pdf|archivedate=June 21, 2014}} This Australian report on crime statistics provides numerous examples of interpreting and misinterpreting the data. «The increase in media access to information about crime has not been matched by an increase in the quality of media reporting on crime. The misuse of crime statistics by the media has impeded rational debate about law and order.» Among the alleged media abuses: selective use of data, selective reporting of facts, misleading commentary, misrepresentation of facts and misleading headlines. Police and politicians also abused the statistics.</ref> Якщо факти «не заслуговують на висвітлення у новинах» (що може вимагати перебільшення), вони можуть бути не опубліковані. Мотиви рекламістів ще більш неоднозначні.
* «Політики використовують статистику так само, як п'яниця використовує ліхтарні стовпи&nbsp;— для підтримки, а не для освітлення»&nbsp;— Ендрю Ленг (WikiQuote) «Чого ми дізнаємося з цих двох способів розгляду тих самих цифр? Ми дізнаємося, що розумний пропагандист, праворуч чи ліворуч, майже завжди може знайти спосіб представити дані про економічне зростання, які, здається, підтверджують її аргументи. Тому ми також навчимося сприймати будь-який статистичний аналіз із сильно політичного джерела жменями солі».<ref>{{Cite book
|url=https://archive.org/details/peddlingprosperi00krug/page/111
|title=Peddling prosperity: economic sense and nonsense in the age of diminished expectations
|last=Krugman
|first=Paul
|year=1994
|publisher=W.W. Norton
|location=New York
|page=[https://archive.org/details/peddlingprosperi00krug/page/111 111]
|isbn=0-393-03602-2
}}</ref> Термін «статистика» походить від чисел, які генеруються та використовуються державою. Хороший уряд може потребувати точних цифр, але популістичний уряд може потребувати підтримуючих цифр (не обов'язково однакових). «Використання та зловживання статистичними даними урядами є давнім мистецтвом». {{Sfn|Spirer|Spirer|Jaffe|1998}}
== Види неправильного використання ==

=== Відкидання несприятливих спостережень ===
Все, що компанія повинна зробити для просування нейтрального (некорисного) продукту, це знайти або провести, наприклад, 40 досліджень з рівнем довіри 95&nbsp;%. Якщо продукт справді марний, це в середньому призведе до одного дослідження, яке показує, що продукт був корисним, одного дослідження, яке показує, що він шкідливий, і тридцяти восьми безрезультатних досліджень (38&nbsp;— це 95&nbsp;% із 40). Ця тактика стає ефективнішою, чим більше доступних досліджень. Організації, які не публікують кожне дослідження, яке вони проводять, наприклад тютюнові компанії, які заперечують зв'язок між курінням і раком, групи захисту інтересів проти куріння та засоби масової інформації, які намагаються довести зв'язок між курінням і різними захворюваннями, або продавці чудодійних таблеток, ймовірно, використовувати цю тактику.

[[Рональд Фішер]] розглянув це питання у своєму прикладі експерименту знаменитої [[Леді дегустує чай|жінки, яка куштує чай]] (з його книги 1935 року ''{{iw|Планування експериментів (книга)|«Планування експериментів»||The Design of Experiments}}''). Стосовно повторних експериментів він сказав: «Це було б явно незаконним і позбавило б наші розрахунки основи, якби всі невдалі результати не були враховані».

Інший термін, пов'язаний з цим поняттям,&nbsp;— [[Помилка вибіркових доказів|вибіркові докази]].

=== Ігнорування важливих ознак ===
Багатоваріантні набори даних мають дві або більше [[Ознака (машинне навчання)|ознак/вимірів]]. Якщо для аналізу вибрано занадто мало з цих ознак (наприклад, якщо вибрано лише одну ознаку та виконується [[проста лінійна регресія]] замість [[Лінійна регресія|множинної лінійної регресії]]), результати можуть ввести в оману. Це робить аналітика вразливим до будь-якого з різноманітних [[Статистичні парадокси|статистичних парадоксів]] або в деяких (не у всіх) випадках хибної причинності, як показано нижче.

=== Навантажені питання ===
Відповідями на опитування часто можна маніпулювати, формулюючи питання таким чином, щоб спровокувати перевагу певної відповіді респондента. Наприклад, під час опитування на підтримку війни запитання:

* Чи підтримуєте ви спробу США принести свободу та демократію в інші місця світу?
* Чи підтримуєте ви неспровоковані військові дії США?

ймовірно, дані будуть спотворені в різні боки, хоча вони обидва опитують щодо підтримки війни. Краще сформулювати запитання так: «Чи підтримуєте ви поточні військові дії США за кордоном?» Ще більш нейтральний спосіб поставити це питання: «Яка ваша думка щодо поточних військових дій США за кордоном?» Справа в тому, що особа, яку запитують, не може здогадатися з формулювання, що запитувач може хотіти почути.

Інший спосіб зробити це&nbsp;— передати до запитання інформацію, яка підтверджує «бажану» відповідь. Наприклад, більше людей, ймовірно, відповість «так» на запитання «Враховуючи зростаючий тягар податків для сімей середнього класу, чи підтримуєте ви зниження податку на прибуток?» ніж на запитання «Враховуючи зростаючий дефіцит федерального бюджету та відчайдушну потребу в додаткових надходженнях, чи підтримуєте ви скорочення прибуткового податку?»

Правильна постановка питань може бути дуже тонкою. Відповіді на два запитання можуть сильно відрізнятися залежно від порядку їх постановки.{{sfn|Kahneman|2013|p=102}} «Опитування, яке запитувало про „володіння акціями“, показало, що більшість власників ранчо Техасу володіли акціями, хоча, ймовірно, не такими, якими торгують на Нью-Йоркській фондовій біржі». {{Sfn|Moore|Notz|2006|с=59}}

=== Надмірне узагальнення ===
[[Хибне узагальнення|Надмірне узагальнення]]&nbsp;— це помилка, яка виникає, коли стверджується, що статистичні дані щодо певної сукупності відповідають членам групи, для якої вихідна сукупність не є репрезентативною вибіркою.

Наприклад, припустимо, що влітку 100&nbsp;% яблук червоні. Твердження «Усі яблука червоні» було б прикладом надмірного узагальнення, оскільки початкова статистика була вірною лише для певної підмножини яблук (тих, що були влітку), які, як очікується, не будуть репрезентативними для сукупності яблук загалом.

Реальний приклад помилки надмірного узагальнення можна спостерігати як артефакт сучасних методів опитування, які забороняють дзвонити на мобільні телефони для політичних опитувань по телефону. Оскільки молоді люди частіше, ніж інші демографічні групи, не володіють звичайним «стаціонарним» телефоном, телефонне опитування, у якому беруть участь виключно відповіді на дзвінки зі стаціонарних телефонів, може призвести до того, що результати опитування занизять вибірку поглядів молодих людей, якщо не вжити інших заходів щоб врахувати цей перекіс вибірки. Таким чином, опитування, яке вивчає виборчі переваги молодих людей за допомогою цієї методики, може бути не зовсім точним відображенням справжніх виборчих уподобань молодих людей у цілому без надмірного узагальнення, оскільки використана вибірка виключає молодих людей, які носять лише мобільні телефони, які можуть або можуть не мати виборчих уподобань, які відрізняються від решти населення.

Надмірне узагальнення часто відбувається, коли інформація передається через нетехнічні джерела, зокрема засоби масової інформації.

=== Упереджені вибірки ===
{{Main|Упередження вибірки}}
Приклад: ефект [[плацебо]] (розум над тілом) дуже потужний. У 100&nbsp;% суб'єктів з'явилася висипка під час впливу інертної речовини, яка помилково називалася отруйним плющем, тоді як у небагатьох з'явилася висипка на «нешкідливому» предметі, який насправді був отруйним плющем.{{Sfn|Moore|Notz|2006|с=97}} Дослідники борються з цим ефектом шляхом подвійних сліпих рандомізованих порівняльних [[експеримент]]ів. Статистики зазвичай більше турбуються про достовірність даних, ніж про аналіз. Це відображено в галузі дослідження статистики, відомої як [[Планування експерименту|планування експериментів]].

Вибірковий вплив стільникових телефонів на збір даних (обговорюється в розділі «Надмірне узагальнення») є одним із потенційних прикладів; Якщо молоді люди зі звичайними телефонами не є репрезентативними, вибірка може бути необ'єктивною. Вибіркові опитування мають багато підводних каменів і вимагають особливої обережності у виконанні.{{Sfn|Moore|McCabe|2003|сторінки=252–254}} Одна спроба вимагала майже 3000 телефонних дзвінків, щоб отримати 1000 відповідей. Проста випадкова вибірка генеральної сукупності «не проста і не може бути випадковою». {{Sfn|Moore|Notz|2006|с=53, Sample surveys in the real world}}

=== Невірне повідомлення або неправильне розуміння оцінки помилки ===
Якщо дослідницька група хоче знати, як 300 мільйонів людей ставляться до певної теми, було б недоцільно запитувати їх усіх. Однак, якщо команда обере випадкову вибірку приблизно з 1000 осіб, вона може бути досить впевнена, що результати, надані цією групою, є репрезентативними щодо того, що сказала б більша група, якби їх усіх запитали.

Цю впевненість насправді можна кількісно визначити [[Центральна гранична теорема|центральною граничною теоремою]] та іншими математичними результатами. Впевненість виражається як ймовірність того, що справжній результат (для більшої групи) знаходиться в межах певного діапазону оцінки (цифра для меншої групи). Це цифра «плюс-мінус», яку часто цитують у статистичних дослідженнях. Імовірнісна частина рівня довіри зазвичай не згадується; якщо так, то вважається, що це стандартне число, наприклад 95&nbsp;%.

Ці два числа пов'язані. Якщо опитування має оцінену похибку ±5&nbsp;% при достовірності 95&nbsp;%, воно також має оцінену помилку ±6,6&nbsp;% при довірчій достовірності 99&nbsp;%. ± <math>x</math> % при 95&nbsp;% достовірності завжди дорівнює ± <math>1.32x</math> % при 99&nbsp;% достовірності для нормально розподіленої сукупності.

Чим менша оцінена помилка, тим більша необхідна вибірка при заданому рівні достовірності; наприклад, з довірою [[Правило 68–95–99,7|95,4&nbsp;%]] :

* ±1&nbsp;% потребує 10 000 осіб.
* ±2&nbsp;% потребує 2500 осіб.
* ±3&nbsp;% вимагатиме 1111 осіб.
* ±4&nbsp;% потребує 625 осіб.
* ±5&nbsp;% потребує 400 осіб.
* ±10&nbsp;% потребує 100 осіб.
* ±20&nbsp;% потребує 25 осіб.
* ±25&nbsp;% потребує 16 осіб.
* ±50&nbsp;% потребує 4 осіб.

Люди можуть припустити, оскільки цифра достовірності пропущена, що існує 100&nbsp;% впевненість, що справжній результат знаходиться в межах оціненої похибки. Це не є математично правильним.

Багато людей можуть не усвідомлювати, що випадковість вибірки дуже важлива. На практиці багато опитувань громадської думки проводяться телефоном, що декількома способами спотворює вибірку, включаючи виключення людей, які не мають телефонів, перевагу включення людей, які мають більше одного телефону, перевагу включення людей, які готові участь у телефонному опитуванні над тими, хто відмовляється тощо. Невипадкова вибірка робить оцінену помилку ненадійною.

З іншого боку, люди можуть вважати, що статистика за своєю суттю ненадійна, тому що не всіх викликають або тому, що їх самих ніколи не опитують. Люди можуть подумати, що неможливо отримати дані про думку десятків мільйонів людей, просто опитавши кілька тисяч. Це теж неточно. {{Efn|Some data on accuracy of polls is available. Regarding one important poll by the U.S. government, "Relatively speaking, both {{iw|sampling error}} and non-sampling [bias] error are tiny."{{sfn| Freedman | Pisani | Purves | 1998 |loc= chapter 22: Measuring Employment and Unemployment, p. 405}}
The difference between the votes predicted by one private poll and the actually tally for American presidential elections is available for comparison at [http://www.presidency.ucsb.edu/data/preferences.php «Election Year Presidential Preferences: Gallup Poll Accuracy Record: 1936—2012»]. The predictions were typically calculated on the basis of less than 5000 opinions by likely voters.{{sfn| Freedman | Pisani | Purves | 1998 |pp= 389–390}}}} Опитування з ідеальною неупередженою вибіркою та правдивими відповідями має математично визначену [[Межа похибки|межу похибки]], яка залежить лише від кількості опитаних людей.

Однак часто для опитування повідомляється лише про одну похибку. Коли повідомляються результати для підгруп населення, застосовуватиметься більша похибка, але це може бути неясно. Наприклад, опитування 1000 осіб може містити 100 осіб певної етнічної чи економічної групи. Результати, зосереджені на цій групі, будуть набагато менш надійними, ніж результати для всієї сукупності. Якщо похибка для повної вибірки становила, скажімо, 4&nbsp;%, то похибка для такої підгрупи може становити близько 13&nbsp;%.

Існує також багато інших проблем вимірювання в опитуваннях населення.

Зазначені вище проблеми стосуються всіх статистичних експериментів, а не лише опитувань населення.

=== Помилкова причинність ===
Коли статистичний тест показує кореляцію між A і B, зазвичай є шість можливостей:

# А є причиною В.
# В є причиною А.
# A і B частково спричиняють один одного.
# А і В спричинені третім фактором, С.
# B спричинено C, який корелює з A.
# Спостережувана кореляція була цілком випадковою.

Шоста можливість може бути визначена кількісно за допомогою статистичних тестів, які можуть обчислити ймовірність того, що спостережувана кореляція буде такою ж великою, як і випадкова, якщо фактично між змінними немає зв'язку. Однак, навіть якщо така можливість має невелику ймовірність, все одно існують п'ять інших.

Якщо кількість людей, які купують морозиво на пляжі, статистично пов'язана з кількістю людей, які потонули на пляжі, тоді ніхто не стане стверджувати, що морозиво викликає потоплення, оскільки очевидно, що це не так. (У цьому випадку як утоплення, так і купівля морозива чітко пов'язані третім фактором: кількістю людей на пляжі).

Цю помилку можна використати, наприклад, щоб довести, що вплив хімічної речовини викликає рак. Замініть «кількість людей, які купують морозиво» на «кількість людей, які зазнали впливу хімікату Х», а «кількість людей, які потонули» на «кількість людей, які захворіли на рак», і багато людей вам повірять. У такій ситуації може існувати статистична кореляція, навіть якщо реального ефекту немає. Наприклад, якщо існує думка, що хімічний завод є «небезпечним» (навіть якщо це насправді не так), вартість власності в цьому районі знизиться, що спонукатиме більше сімей з низьким рівнем доходу переїхати в цей район. Якщо сім'ї з низьким рівнем доходу мають більше шансів захворіти на рак, ніж сім'ї з високим рівнем доходу (через погане харчування, наприклад, або обмежений доступ до медичної допомоги), то рівень раку зростатиме, навіть якщо хімічна речовина сама по собі не є небезпечною. Вважається<ref name="Farley2003">{{Cite web|last=Farley|first=John W.|title=Power Lines and Cancer: Nothing to Fear|publisher=Quackwatch|editor-link=Stephen Barrett|editor-last=Barrett|editor-first=Stephen|url=http://www.quackwatch.org/01QuackeryRelatedTopics/emf.html|year=2003}}</ref>, що саме це сталося з деякими ранніми дослідженнями, які показали зв'язок між ЕМП ([[Електромагнітне поле|електромагнітними полями]]) від ліній електропередач і [[Електромагнітне випромінювання та здоров'я|раком]].<ref name="powerlines">{{Cite news|last=Vince|first=Gaia|title=Large study links power lines to childhood cancer|url=http://www.newscientist.com/article/dn7460-large-study-links-power-lines-to-childhood-cancer.html|work=New Scientist|date=2005-06-03|archiveurl=https://web.archive.org/web/20140816043956/http://www.newscientist.com/article/dn7460-large-study-links-power-lines-to-childhood-cancer.html|archivedate=August 16, 2014}} Cites: {{Cite journal|last=Draper|first=G.|year=2005|title=Childhood cancer in relation to distance from high voltage power lines in England and Wales: a case-control study|journal=BMJ|volume=330|issue=7503|pages=1290|doi=10.1136/bmj.330.7503.1290|pmc=558197|pmid=15933351}}</ref>

У добре спланованих дослідженнях ефект хибного причинно-наслідкового зв'язку можна усунути шляхом розподілу деяких людей у «групу лікування», а деяких людей у «контрольну групу» випадковим чином, призначаючи групі лікування лікування, і не даючи контрольній групі лікування. У наведеному вище прикладі дослідник може піддати дії хімічної речовини Х одну групу людей і залишити другу групу без впливу. Якщо в першій групі були вищі показники раку, дослідник знає, що немає третього фактора, який би вплинув на те, чи була людина піддана дії речовини, оскільки він контролював, хто був підданий дії речовини чи ні, і він випадковим чином розподіляв людей на групи, які піддавалися дії речовини, і до груп, що не піддавалися дії речовини. Однак у багатьох додатках фактичне проведення експерименту таким чином є або надмірно дорогим, нездійсненним, неетичним, незаконним або просто неможливим. Наприклад, дуже малоймовірно, що [[Інституційна ревізійна рада|IRB]] прийме експеримент, який передбачає навмисне піддавання людей дії небезпечної речовини з метою перевірки її токсичності. Очевидні етичні наслідки таких типів експериментів обмежують здатність дослідників емпірично перевіряти причинно-наслідковий зв'язок.

=== Доказ нульової гіпотези ===
У статистичному тесті [[нульова гіпотеза]] (<math>H_0</math>) вважається дійсною, доки достатньо даних не підтвердить її неправильність. Потім <math>H_0</math> відхиляється, а альтернативна гіпотеза (<math>H_A</math>) вважається доведеною як правильна. Випадково це може статися, хоча <math>H_0</math> вірно, з ймовірністю позначеною <math>\alpha</math> (рівень значущості). Це можна порівняти з судовим процесом, де обвинувачений вважається невинним (<math>H_0</math>) доки вину не буде доведено (<math>H_A</math>) поза розумним сумнівом (<math>\alpha</math>).

Але якщо дані не дають нам достатньо доказів, щоб відхилити <math>H_0</math>, це автоматично не доводить правильності <math>H_0</math>. Якщо, наприклад, виробник тютюну бажає продемонструвати, що його продукція безпечна, він може легко провести тест із невеликою вибіркою курців проти невеликої вибірки некурців. Малоймовірно, що хтось із них захворіє на рак легенів (і навіть якщо це станеться, різниця між групами має бути дуже великою, щоб відхилити <math>H_0</math>). Тому цілком ймовірно, що наш тест не відхилить <math>H_0</math>, навіть коли куріння небезпечне. Якщо <math> H_0</math> прийнято, це не означає автоматично, що куріння доведено нешкідливим. Тест має недостатню потужність для відхилення <math>H_0</math>, тому тест марний і значення «доказу» <math>H_0</math> також є нульовим.

Це можна&nbsp;— використовуючи наведений вище судовий аналог&nbsp;— порівняти з дійсно винним підсудним, якого звільняють лише тому, що доказів недостатньо для винесення обвинувального вироку. Це не доводить невинуватість підсудного, а лише те, що доказів недостатньо для винесення обвинувального вироку.

«…нульова гіпотеза ніколи не доведена або встановлена, але вона, можливо, спростовується в ході експерименту. Можна сказати, що кожен експеримент існує лише для того, щоб дати фактам шанс спростувати нульову гіпотезу». (Фішер у ''{{iw|Планування експериментів (книга)|Планування експериментів||The Design of Experiments}}'') Існує багато причин для плутанини, включаючи використання подвійної негативної логіки та термінології, що є результатом злиття Фішерового «перевірки значущості» (де нульова гіпотеза ніколи не приймається) з «перевіркою гіпотези» (де деяка гіпотеза завжди приймається).

=== Плутання статистичної значущості з практичною значущістю ===
Статистична значущість є мірою ймовірності; практичне значення є мірою ефекту. {{Sfn|Moore|McCabe|2003|сторінки=463}} Лікування облисіння є статистично значущим, якщо рідкісний персиковий пух зазвичай покриває раніше голу шкіру голови. Лікування є практично значущим, коли шапка більше не потрібна в холодну погоду, а перукар запитує, скільки знімати зверху. Лисі хочуть лікування, яке є як статистично, так і практично значущим. Ймовірно, це спрацює, і якщо це спрацює, це матиме великий ефект волосся. Наукова публікація часто вимагає лише статистичної значущості. Це призвело до скарг (за останні 50 років), що перевірка статистичної значущості є неправильним використанням статистики.<ref name="Rozeboom1960">{{Cite journal|last=Rozeboom|first=William W.|year=1960|title=The fallacy of the null-hypothesis significance test|url=https://archive.org/details/sim_psychological-bulletin_1960-09_57_5/page/416|journal=Psychological Bulletin|volume=57|issue=5|pages=416–428|doi=10.1037/h0042040|pmid=13744252}}</ref>

=== Просіювання даних ===
[[Просіювання даних]] є зловживанням інтелектуальним аналізом [[Добування даних|даних]]. Під час просіювання даних досліджуються великі компіляції даних, щоб знайти кореляцію, без будь-якого попередньо визначеного вибору [[Гіпотеза|гіпотези]] для перевірки. Оскільки необхідний [[довірчий інтервал]] для встановлення зв'язку між двома параметрами зазвичай вибирається рівним 95&nbsp;% (це означає, що існує 95&nbsp;% ймовірність того, що спостережуваний зв'язок не є випадковим), таким чином існує 5&nbsp;% шанс знайти кореляцію між будь-якими двома наборами абсолютно випадкових змінних. З огляду на те, що спроби просіювання даних зазвичай вивчають великі набори даних із багатьма змінними, а отже, навіть більшу кількість пар змінних, будь-яке таке дослідження майже напевно одержить помилкові, але, очевидно, статистично значущі результати.

Зауважте, що просіювання даних є дійсним способом ''пошуку'' можливої гіпотези, але цю гіпотезу ''потрібно'' потім перевірити з даними, які не використовувалися в початковому просіюванні. Зловживання виникає, коли цю гіпотезу висловлюють як факт без подальшого підтвердження.

«Ви не можете законно перевірити гіпотезу на тих самих даних, на яких вперше висунули цю гіпотезу. Засіб зрозумілий. Коли у вас є гіпотеза, розробіть дослідження для конкретного пошуку ефекту, який, на вашу думку, є. Якщо результат цього тесту є статистично значущим, у вас нарешті є реальні докази» {{Sfn|Moore|McCabe|2003|с=466}}

=== Маніпулювання даними ===
Ця практика, неофіційно названа «підробкою даних», включає вибіркове звітування (див. також [[Упередження публікації|упередженість публікації]]) і навіть просто створення неправдивих даних.

Прикладів вибіркового звітування чимало. Найпростіші та найпоширеніші приклади включають вибір групи результатів, які відповідають шаблону, [[Несуперечність|узгодженому]] з переважною [[Гіпотеза|гіпотезою]], ігноруючи при цьому інші результати або «прогони даних», які суперечать гіпотезі.

Вчені, як правило, сумніваються в достовірності результатів дослідження, які не можуть бути відтворені іншими дослідниками. Однак деякі вчені відмовляються публікувати свої дані та методи.<ref>{{Cite journal|last=Neylon|first=C|year=2009|title=Scientists lead the push for open data sharing|url=http://www.researchinformation.info/features/feature.php?feature_id=214|journal=Research Information|publisher=Europa Science|volume=41|pages=22–23|issn=1744-8026|archive-url=https://web.archive.org/web/20131203050247/http://www.researchinformation.info/features/feature.php?feature_id=214|archive-date=3 грудня 2013}}</ref>

Маніпулювання даними є серйозною проблемою/розглядом у найчеснішому статистичному аналізі. Викиди, відсутні дані та відхилення від норми можуть негативно вплинути на достовірність статистичного аналізу. Доцільно вивчити дані та усунути реальні проблеми перед початком аналізу. «[На] будь-якій точковій діаграмі будуть деякі точки, більш-менш відокремлені від основної частини хмари: ці точки слід відхиляти лише з причини».<ref name="fpp3">{{Harvnb|Freedman|Pisani|Purves|1998}}</ref>

=== Інші помилки ===
{{iw|Псевдореплікація|||Pseudoreplication}}&nbsp;— технічна помилка, пов'язана з [[Дисперсійний аналіз|дисперсійним аналізом]] . Складність приховує той факт, що статистичний аналіз намагається провести на одній вибірці (N=1). Для цього виродженого випадку дисперсія не може бути обчислена (поділ на нуль). (N=1) завжди дасть досліднику найвищу статистичну кореляцію між упередженням наміру та фактичними результатами.

[[Омана гравця|Помилка гравця]] припускає, що подія, для якої можна виміряти майбутню ймовірність, мала таку саму ймовірність відбутися, коли вона вже сталася. Таким чином, якщо хтось уже кинув 9 монет, і кожна з них вийшла орелами, люди схильні припускати, що ймовірність того, що десятий підкидок також буде орелами, становить 1023 до 1 проти (що було до того, як було підкинуто першу монету), хоча насправді ймовірність десятої голови становить 50&nbsp;% (припускаючи, що монета неупереджена).

[[Помилка прокурора]]<ref>{{Cite book
|title=Proofiness: how you're being fooled by the numbers
|url=https://archive.org/details/proofinesshowyou0000seif
|last=Seife
|first=Charles
|year=2011
|publisher=Penguin
|location=New York
|pages=[https://archive.org/details/proofinesshowyou0000seif/page/203 203]–205 and Appendix C
|isbn=9780143120070
}} Discusses the notorious British case.</ref> припускає, що ймовірність того, що очевидно злочинна подія є випадковою, дорівнює ймовірності того, що підозрюваний невинний. Яскравим прикладом у Великобританії є незаконне засудження {{iw|Саллі Кларк|||Sally Clark}} за вбивство двох її синів, які, як видається, померли від [[Синдром раптової дитячої смерті|синдрому раптової дитячої смерті]] (СРДС). У своїх експертних свідченнях нині дискредитований професор сер {{iw|Рой Медоу|||Roy Meadow}} стверджував, що через рідкість СРДС ймовірність того, що Кларк буде невинним, становить 1 до 73 мільйонів. Пізніше [[Королівське статистичне товариство]] поставило це під сумнів;<ref name="rss2">Royal Statistical Society (23 October 2001). «{{Cite web|url=http://www.rss.org.uk/uploadedfiles/documentlibrary/744.pdf|archiveurl=https://web.archive.org/web/20110824151124/http://www.rss.org.uk/uploadedfiles/documentlibrary/744.pdf|archivedate=2011-08-24|title=Royal Statistical Society concerned by issues raised in Sally Clark case}}&nbsp;{{Small|(28.0&nbsp;KB)}}»</ref> якщо припустити, що цифра Медоуз була точною, потрібно зважити всі можливі пояснення одне проти одного, щоб зробити висновок, що, найімовірніше, спричинило незрозумілу смерть двох дітей. Наявні дані свідчать про те, що шанси будуть на користь подвійного СРДС порівняно з подвійним вбивством у дев'ять разів.<ref>{{Cite journal|last=Hill|first=R.|year=2004|title=Multiple sudden infant deaths – coincidence or beyond coincidence?|journal=Paediatric and Perinatal Epidemiology|volume=18|issue=5|pages=320–6|doi=10.1111/j.1365-3016.2004.00560.x|pmid=15367318}}</ref> Цифра 1 на 73 мільйони також вводила в оману, оскільки її було отримано шляхом визначення ймовірності смерті дитини від СРДС із заможної сім'ї, яка не палить, і [[Квадрат (алгебра)|зведення]] її до квадрата: це помилково розглядає кожну смерть як [[Незалежність (теорія ймовірностей)|статистично незалежну]], припускаючи, що фактор не існує., як-от генетика, що підвищить імовірність смерті двох братів і сестер від СРДС.<ref>{{Cite web|title=Beyond reasonable doubt|url=https://plus.maths.org/content/beyond-reasonable-doubt|accessdate=2022-04-01|website=Plus Maths|language=en}}</ref><ref name=":0">{{Cite journal|last=Watkins|first=Stephen J.|date=2000-01-01|title=Conviction by mathematical error?: Doctors and lawyers should get probability theory right|url=https://www.bmj.com/content/320/7226/2|journal=BMJ|language=en|volume=320|issue=7226|pages=2–3|doi=10.1136/bmj.320.7226.2|issn=0959-8138|pmc=1117305|pmid=10617504}}</ref> Це також приклад [[Екологічна помилка|екологічної помилки]], оскільки припускається, що ймовірність СРДС у родині Кларка була такою ж, як середня для всіх заможних сімей, які не палили; соціальний клас&nbsp;— це дуже складне й багатогранне поняття, що включає багато інших змінних, таких як освіта, вид роботи та багато іншого. Припущення, що окрема особа матиме ті самі якості, що й решта даної групи, не враховує вплив інших змінних, які, у свою чергу, можуть ввести в оману.<ref name=":0" /> Засудження Саллі Кларк зрештою було скасовано, а Медоуз було вилучено з медичного реєстру.<ref>{{Cite journal|last=Dyer|first=Clare|date=2005-07-21|title=Professor Roy Meadow struck off|url=https://www.bmj.com/content/331/7510/177.1|journal=BMJ|language=en|volume=331|issue=7510|pages=177|doi=10.1136/bmj.331.7510.177|issn=0959-8138|pmc=1179752|pmid=16037430}}</ref>

{{iw|Ігрова помилка|||Ludic fallacy}}. Імовірності базуються на простих моделях, які ігнорують реальні (якщо віддалені) можливості. Гравці в покер не вважають, що опонент може взяти пістолет, а не карту. Страхувальники (і уряди) припускають, що страховики залишаться платоспроможними, але бачать [[AIG]] і {{iw|системний ризик|||Systemic risk}}.

=== Інші види зловживання ===
Інші зловживання включають порівняння яблук і апельсинів, використання неправильного середнього,{{Sfn|Huff|1954|місце=chapter 2}} [[Регресія до середнього|регресію до середнього значення]]{{Sfn|Kahneman|2013|місце=chapter 17}} та фразу-парасольку [[сміття на вході, сміття на виході]] . {{Sfn|Hooke|1983|місце=§50}} Деякі статистичні дані просто не мають відношення до проблеми.{{Sfn|Campbell|1974|місце=[https://books.google.com/books?id=GtSV7rG6Iu4C&pg=PA25 chapter 3: Meaningless statistics]}}

[[Квартет Анскомбе|Квартет Анскомба]]&nbsp;— це вигаданий набір даних, який демонструє недоліки простої [[Описова статистика|описової статистики]] (та цінність побудови [[графік|даних]] перед чисельним аналізом).

== Див. також ==

* [[Брехливість|Обман]]
* [[Екологічна помилка]]
* {{iw|Етика в математиці|||Ethics in mathematics}}
* [[Метанаука]]
* {{iw|Зловживання p-значеннями|||Misuse of p-values}}
* [[Оманлива графіка]]
* [[Post hoc аналіз]]
* [[Парадокс Сімпсона]]
* {{iw|Statcheck}}

== Примітки ==

=== Зноски ===
<references group="lower-alpha" responsive="1"></references>

=== Джерела ===
<references responsive="0"></references>

== Подальше читання ==

* {{Cite book
|url=https://books.google.com/books?id=GtSV7rG6Iu4C
|title=Flaws and fallacies in statistical thinking
|last=Campbell
|first=Stephen
|year=1974
|publisher=Prentice Hall
|isbn=0-486-43598-9
}}
* {{Cite journal|last=Christensen|first=R.|last2=Reichert|first2=T.|year=1976|title=Unit Measure Violations in Pattern Recognition, Ambiguity and Irrelevancy|journal=Pattern Recognition|volume=8|issue=4|pages=239–245|bibcode=1976PatRe...8..239C|doi=10.1016/0031-3203(76)90044-3}}
* {{Cite journal|last=Ercan I, Yazici B, Yang Y, Ozkaya G, Cangur S, Ediz B, Kan I|year=2007|title=Misusage of Statistics in Medical Researches|url=http://www.ejgm.org/upload/sayi/1016/EJGM-00166.pdf|journal=European Journal of General Medicine|volume=4|issue=3|pages=127–133|doi=10.29333/ejgm/82507|archive-url=https://web.archive.org/web/20141113182754/http://www.ejgm.org/upload/sayi/1016/EJGM-00166.pdf|archive-date=13 листопада 2014|doi-access=free}}
* {{Cite journal|last=Ercan I, Yazici B, Ocakoglu G, Sigirli D, Kan I|year=2007|title=Review of Reliability and Factors Affecting the Reliability|url=http://biostat.home.uludag.edu.tr/Review%20Of%20Reliability%20And%20Factors%20Affecting%20The%20Reliability%20.pdf|journal=InterStat|archive-url=https://web.archive.org/web/20130828175105/http://biostat.home.uludag.edu.tr/Review%20Of%20Reliability%20And%20Factors%20Affecting%20The%20Reliability%20.pdf|archive-date=28 серпня 2013}}
* {{Cite book
|url=https://archive.org/details/statistics00free
|title=Statistics
|last=Freedman
|first=David
|last2=Pisani
|first2=Robert
|last3=Purves
|first3=Roger
|year=1998
|publisher=W.W. Norton
|edition=3rd
|isbn=978-0-393-97083-8
}}
* {{Cite book
|url=https://archive.org/details/howtotellliarsfr0000hook
|title=How to tell the liars from the statisticians
|last=Hooke
|first=Robert
|year=1983
|publisher=M. Dekker
|location=New York
|isbn=0-8247-1817-8
}}
* {{Cite book
|title=How to Lie with Statistics
|url=https://archive.org/details/howtoliewithstat0000huff
|last=Huff
|first=Darrell
|year=1954
|publisher=W. W. Norton & Company
|lccn=53013322
|ol=6138576M
}}
* {{Cite book
|url=https://archive.org/details/thinkingfastslow0000kahn
|title=Thinking, fast and slow
|last=Kahneman
|first=Daniel
|year=2013
|publisher=Farrar, Straus and Giroux
|location=New York
|isbn=9780374533557
}}
* {{Cite book
|url=https://archive.org/details/isbn_9780716749127
|title=Introduction to the practice of statistics
|last=Moore
|first=David
|last2=McCabe
|first2=George P.
|year=2003
|publisher=W.H. Freeman and Co
|edition=4th
|location=New York
|isbn=0716796570
}}
* {{Cite book
|title=Statistics: concepts and controversies
|url=https://archive.org/details/statisticsconcep0000moor
|last=Moore
|first=David
|last2=Notz
|first2=William I.
|year=2006
|publisher=W.H. Freeman
|edition=6th
|location=New York
|isbn=9780716786368
}}
* {{Cite book
|url=https://books.google.com/books?id=hT_ELDzB99gC
|title=Misused statistics
|last=Spirer
|first=Herbert
|last2=Spirer
|first2=Louise
|last3=Jaffe
|first3=A. J.
|year=1998
|publisher=M. Dekker
|edition=revised and expanded 2nd
|location=New York
|isbn=978-0824702113
}} The book is based on several hundred examples of misuse.
* Oldberg, T. and R. Christensen (1995) «Erratic Measure» in ''NDE for the Energy Industry 1995'', The American Society of Mechanical Engineers. {{ISBN|0-7918-1298-7}} (pages 1–6) [http://www.ndt.net/article/v04n05/oldberg/oldberg.htm Republished on the Web by ndt.net]
* Oldberg, T. (2005) "An Ethical Problem in the Statistics of Defect Detection Test Reliability, " Speech to the Golden Gate Chapter of the American Society for Nondestructive Testing. [http://www.ndt.net/article/v10n05/oldberg/oldberg.htm Published on the Web by ndt.net]
* Stone, M. (2009) ''Failing to Figure: Whitehall's Costly Neglect of Statistical Reasoning'', Civitas, London. {{ISBN|1-906837-07-4}}
* {{Cite journal|last=Galbraith|first=J.|last2=Stone|first2=M.|year=2011|title=The abuse of regression in the National Health Service allocation formulae: Response to the Department of Health's 2007 'resource allocation research paper'|journal=[[Journal of the Royal Statistical Society, Series A]]|volume=174|issue=3|pages=517–528|doi=10.1111/j.1467-985X.2010.00700.x}}
[[Категорія:Статистика]]
[[Категорія:Хибні висновки]]
[[Категорія:Критичне мислення]]
[[Категорія:Неправильне використання статистичних даних]]