Книга Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

300

В англоязычной литературе их также называют “нулевыми”.

301

Fanelli D. “Positive” Results Increase Down the Hierarchy of the Sciences. PLOS ONE. 5, no. 4 (2010): e10068.

302

Есть некоторое расхождение во мнениях относительно того, уменьшается или увеличивается с течением времени количество положительных и отрицательных результатов. Одну точку зрения на этот вопрос см. здесь: Fanelli D. Negative Results Are Disappearing from Most Disciplines and Countries. Scientometrics. 90, no. 3 (2011): 891–904; другую – тут: De Winder J. C. F., Dodou D. A Surge of p-Values between 0.041 and 0.049 in Recent Decades (but Negative Results Are Increasing Rapidly Too). PeerJ. 3 (2015): e733.

303

Есть и другая причина, почему уровень успеха выше 90 % служил бы плохим знаком, даже если бы он был точен и не происходило ничего подозрительного: это бы означало, что ученые настолько хорошо выбирают правильные гипотезы, что еще до того, как приступить к проверке, знают, что верно, а что нет. В подобном мире почти стопроцентного успеха ученые воздерживались бы от изучения подлинно новых, острых вопросов, ответы на которые куда более неопределенные, а исследования которых рискованнее. И таким образом они бы пренебрегали важной ролью науки – исследовать неизведанное и углублять наши знания о мире.

304

Rosenthal R. The File Drawer Problem and Tolerance for Null Results. Psychological Bulletin. 86, no. 3 (1979): 638–41.

305

Поскольку рост в разных странах отличается, австрийские женщины, как выясняется, в среднем выше перуанских мужчин (хотя разница между полами внутри каждой из этих стран сохраняется: перуанки ниже своих мужчин-соотечественников, а австрийцы выше австриек). https://en.wikipedia.org/wiki/Average_human_height_by_country#Table_of_Heights

306

Это было бы недооценкой реального показателя: согласно Wikipedia, средняя разница в росте между мужчинами и женщинами в Шотландии в 2008 году составляла 13,7 сантиметра. См. ссылку из предыдущего примечания.

307

Конкретные детали того, как вычисляется p-значение, не обязательно нужны для понимания, как оно работает. Четкое введение в статистику как таковую см. здесь: Spiegelhalter D. The Art of Statistics: Learning from Data. London: Penguin, 2019. Доступное обсуждение более философских вопросов, касающихся статистики, см. тут: Dienes Z. Understanding Psychology as a Science: An Introduction to Scientific and Statistical Inference. New York: Palgrave Macmillan, 2008.

308

Cassidy S. A. et al. Failing Grade: 89 % of Introduction-to-Psychology Textbooks That Define or Explain Statistical Significance Do So Incorrectly. Advances in Methods and Practices in Psychological Science. 2, no. 3 (2019): 233–9. См. также Hubbard R., Bayarri M. J. Confusion Over Measures of Evidence (p’s) Versus Errors (α’s) in Classical Statistical Testing. American Statistician. 57, no. 3 (2003): 171–8.

309

Позиция Американской статистической ассоциации по вопросу p-значений удивительно доходчиво изложена здесь: Wasserstein R. L., Lazar N. A. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician. 70, no. 2 (2016): 129–33. Там дается такое определение p-значению: “в рамках конкретной статистической модели это вероятность того, что статистический вывод по данным (то есть различие в средних по выборке между двумя сравниваемыми группами) будет таким же или еще значительнее, чем полученный”.

310

Здесь нужно оговорить еще два момента. Во-первых, другое распространенное заблуждение относительно p-значения заключается в том, что оно якобы показывает, насколько вероятна “нулевая гипотеза”, то есть насколько вероятно, что в ваших данных нет никакого эффекта (и обычно вы хотите, чтобы эта вероятность была низкой). Но это не так – на самом деле, как я указал в своем определении, p-значение предполагает, что эффекта нет (то есть оно предполагает, что “нулевая гипотеза” верна). Оно также предполагает, что верно и много чего другого о ваших данных: есть некоторые чисто математические допущения о формах распределения переменных, а также более сложные предположения, касающиеся того, стопроцентно ли ученые честны при описании исследования и сколько всего p-значений они вычислили. Как мы узнаем дальше из этой главы, такие предположения часто неверны. Чем сильнее нарушаются эти предположения, тем менее надежным и вразумительным становится p-значение. Во-вторых, почему в определении p-значения (“если на самом деле эффект нулевой, каковы были шансы все равно получить те же результаты, что у вас на руках, или демонстрирующие, казалось бы, даже еще больший эффект?”) есть оговорка “еще больший эффект”? (В определении от Американской статистической ассоциации ту же роль выполняют слова “или еще значительнее”.) Она необходима, поскольку вероятность получить любое конкретное значение крайне мала: представьте, например, насколько редко мы получали бы для своей выборки разницу в росте, в точности равную, скажем, 10,00144983823 сантиметра, если бы нам пришлось повторять свое исследование с шотландскими женщинами и мужчинами бесконечное число раз. Это четко определенное число было бы крайне маловероятным, независимо от того, есть ли в действительности разница в росте на уровне популяции, так что p-значение, которое просто говорило бы нам, насколько малы шансы получить вот это конкретное число, едва ли сильно бы нам помогало. Вот для чего нужна добавка “еще больший эффект”. В нашем вымышленном примере – единожды проведенном исследовании, в котором между выбранными наугад десятью мужчинами и десятью женщинами обнаружилась разница в росте десять сантиметров, – p-значение, равное 0,03, означало бы, что если бы “реального” эффекта в популяции шотландцев не существовало, то вероятность обнаружить разницу в десять сантиметров или больше была бы 3 %.

311

Сразу же хочется сказать, что неплохо было бы иметь нулевые или очень близкие к нулю шансы получить ложноположительный результат. Но тут правит компромисс. Если мы будем чересчур осторожничать насчет того, какие результаты принимать, то увеличим вероятность пропустить реальные эффекты в своих наборах данных (то есть совершить ложноотрицательную ошибку).

312

Salsburg D. The Lady Tasting Tea: How Statistics Revolutionized Science in the Twentieth Century. New York: Holt, 2002.

313

В оригинале taps aff – на шотландском диалекте английского это tops off. Отсюда и название сайта.

314

www.taps-aff.co.uk. Создатель этого чудесного сервиса, который на самом деле учитывает не просто температуру, а куда больше показателей, – Колин Уодделл.

315

То же было предложено в статье, которая стала