Парадоксът на малката извадка
Шоколадът вероятно не ви кара да отслабвате
Преди време на пръв поглед сериозно проучване, показващо ползите от шоколада за тези, които искат да отслабнат, беше взето от медиите по целия свят. Но сега, в края на май, ставаме свидетели на непредвиден отскок: авторът на очевидно научната статия признава всичко. Това беше измама, предназначена да покаже колко лесно могат да бъдат заблудени основните медии.
В този пост авторът Джон "Боханън" обяснява подробно как е извършил истинско проучване - много лошо направено, но нарочно - което след това е успял да впише в хищнически вестник. От техниките за постигане на желаните резултати (т.е. шоколадът е добър за вашата диета), авторът казва, че всъщност е изчислил много улики. Това наистина е ефективна измамна процедура, тъй като всяко ново измерване и всеки нов статистически тест увеличават вероятността да има поне едно фалшиво положително.
Но Джон "Боханън" добавя следното:
Но дори и да бяхме внимателни да не умножаваме тестовете, нашето проучване беше обречено от малкия брой участници, което усилва ефекта на неконтролираните фактори.
Следователно авторът изглежда ни казва, че като е избрал малка извадка в началото, той е увеличил вероятността да има фалшиво положително. Това обаче е невярно и е поразителен пример за това, което бях нарекъл заблудата на малката извадка.
Няколко интернет потребители и колеги обаче ми посочиха, че моето денонсиране на „малката извадка“ е под въпрос. Предходният случай наистина е пример за заблуда, но ние също можем да тълкуваме нещата по различен начин. Тази публикация има за цел да изясни границите на заблуждението на малката извадка и защо въпреки това има причини да бъдете предпазливи по отношение на резултатите от малки проби - всичко зависи от възникващия въпрос.
Фалшиво положителен процент не се променя с размера на извадката
В статистиката обикновено използваме риск от първия вид от 5%, което означава, че когато няма ефект (ако шоколадът няма ефект върху теглото, например), имаме 5% вероятност да сключим неправилно, че има е ефект. Тази стойност от 5% не зависи от размера на извадката: ще се изисква по-голям наблюдаван ефект, ако пробата е по-малка, но вероятността за грешка винаги е 5%.
Представете си, че тестваме 100 възможни ефекта, които в действителност не съществуват. Независимо от размера на извадката, трябва да се очакват 5 фалшиви положителни резултати. Да предположим, че тестваме 100 реални ефекта. Така че по дефиниция е невъзможно да имаме „фалшиво положително“. Това ни позволява да заявим това по-общо: когато правим поредица от изследвания, броят на фалшивите положителни резултати сред тези изследвания не зависи от размера на пробите. Следователно аргументът на Джон "Боханън" е невярен: като се избере малка извадка, това не увеличава вероятността да се намери фалшиво положително.
Колкото по-големи са пробите, толкова повече мощност имаме
Въпреки че размерът на извадката не оказва влияние върху вероятността да има фалшиво положителен резултат, той влияе върху вероятността за откриване на реален ефект. При малки проби е невъзможно да се открият слаби ефекти. Това е причината, поради която гигантски проби често се използват в генетиката: ефектите са минимални, няма да открием нищо друго.
Представете си следната ситуация: тестваме 200 възможни ефекта. Всъщност 100 са реални, а 100 не съществуват.
От 100 теста, съответстващи на несъществуващи ефекти, човек ще заключи (погрешно), че има ефект в 5 случая, че пробите са малки или големи. От 100 теста, съответстващи на реални ефекти, ще се направи заключение (например) с ефект в 80 случая, ако пробите са големи, но в 20 случая само ако пробите са малки.