Книга Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи
Шрифт:
Интервал:
Закладка:
541
На самом деле есть некоторые свидетельства того, что научный прогресс со временем замедляется. Cowen T., Southwood B. Is the Rate of Scientific Progress Slowing Down? SSRN. 2019.
542
Nature: www.nature.com/authors/author_resources/about_npg.html; Science: www.sciencemag.org/about/mission-and-scope; Cell: www.cell.com/cell/aims; Proceedings of the National Academy of Sciences: www.pnas.org/page/authors/purpose-scope.
543
New England Journal of Medicine: www.nejm.org/about-nejm/about-nejm.
544
Boutron I. Reporting and Interpretation of Randomized Controlled Trials with Statistically Nonsignificant Results for Primary Outcomes. JAMA. 303, no. 20 (2010): 2058–64. Также см. Boutron I., Ravaud P. Misrepresentation and Distortion of Research in Biomedical Literature. Proceedings of the National Academy of Sciences. 115, no. 11 (2018): 2613–9.
545
Hankins M. Still Not Significant. Probable Error. 21 April 2013. О преобладании подобных утверждений в онкологической литературе см. Nead K. T. et al. The Use of “Trend” Statements to Describe Statistically Nonsignificant Results in the Oncology Literature. JAMA Oncology. 4, no. 12 (2018): 1778–9. Было отмечено, что подобные утверждения пишутся так, словно результат всегда движется по направлению к статистической значимости, но раз уж вы собираетесь думать о своих результатах в таком странном телеологическом ключе, не учитывая сути p-значений, то откуда вам знать, что цифры не уходят от значимости? Коли на то пошло, откуда вы знаете, что те ваши результаты, которые находятся на предпочтительной стороне от порога статистической значимости, не стремятся забраться выше 0,05? По загадочным причинам ученые, похоже, никогда не чувствуют необходимости описывать p-значения, которые чуть меньше 0,05, как “тенденцию в направлении от статистической значимости” (см. раздел Dredging for P на сайте www.senns.uk/wprose.html). Далее, может показаться, что я сам себе противоречу, описав в четвертой главе порог для p-значений как произвольный, но при этом критикуя тех ученых, которые получают результат немного выше порога и все равно интерпретируют его как значимый (или в каком-то смысле приближающийся к значимости). Суть в том, что если вы вступаете в игру с p-значениями, то должны придерживаться правил. Если вы исходно заявили, что будете считать статистически значимыми только результаты с p < 0,05, то не можете после получения результатов просто поменять правила игры. Иначе порог теряет свою единственную полезную функцию – контролировать риск ложноположительного результата при ошибочности проверяемой гипотезы.
546
Turrentine M. It’s All How You “Spin” It: Interpretive Bias in Research Findings in the Obstetrics and Gynecology Literature. Obstetrics & Gynecology. 129, no. 2 (2017): 239–42.
547
Kempf E. et al. Overinterpretation and Misreporting of Prognostic Factor Studies in Oncology: A Systematic Review. British Journal of Cancer. 119, no. 10 (2018): 1288–96. В тридцати одной работе из этого обзора подача под нужным углом выглядела, например, так: ученые прятали p-значения для своих результатов, не являющихся статистически значимыми, в сноску под таблицей с числами, однако же демонстративно объявляли о p-значениях для результатов значимых в самой таблице.
548
Austin J. et al. Evaluation of Spin within Abstracts in Obesity Randomized Clinical Trials: A Cross-Sectional Review. Clinical Obesity. 9, no. 2 (2019): e12292.
549
Beijers L. et al. Spin in RCTs of Anxiety Medication with a Positive Primary Outcome: A Comparison of Concerns Expressed by the US FDA and in the Published Literature. BMJ Open. 7, no. 3 (2017): e012886.
550
Mehler D. M. A., Kording K. P. The lure of misleading causal statements in functional connectivity research. ArXiv (8 Dec. 2018): 1812.03363. В этой статье отмечается, что все чаще используется понятие “причинность по Грэнджеру”. В 1960-х годах его ввел экономист Клайв Грэнджер, нобелевский лауреат. Идея в том, что если данные из одного “временного ряда” (скажем, колебания на фондовом рынке) предсказывают последующие изменения в другом (например, изменения других экономических показателей страны), то это уже немного выходит за пределы обычной корреляции. В таком случае некоторые исследователи говорят, что колебания на фондовом рынке “вызвали по Грэнджеру” изменения в экономике. Подобные корреляции интересны, но это все равно лишь корреляции, поэтому обычные опасения насчет третьей, спутывающей переменной применимы здесь в той же степени (то есть третий, параллельный временной тренд мог вызвать как исходные колебания рынка, так и последующие изменения экономических показателей). Использовать слово “вызвали”, когда ваше исследование не предназначено для выявления причинно-следственных связей (с помощью эксперимента или другого хитроумного способа обнаружить причинно-следственную структуру данных), – значит играть с огнем.
551
Wu T. et al. Randomized Trials Published in Some Chinese Journals: How Many Are Randomized? Trials. 10, no. 1 (2009): 46.
552
McGrath T. A. et al. Overinterpretation of Research Findings: Evidence of “Spin” in Systematic Reviews of Diagnostic Accuracy Studies. Clinical Chemistry. 63, no. 8 (2017): 1362. Также см. Chiu K. et al. “Spin” in Published Biomedical Literature: A Methodological Systematic Review. PLOS Biology. 15, no. 9 (2017): e2002173.
553
Насколько мне известно, было проведено одно рандомизированное контролируемое исследование, когда в клиническом контексте изучалось влияние подачи результатов в научных статьях под нужным углом. Ученые взяли подборку аннотаций из статей, посвященных онкологическим исследованиям, где сообщалось об отрицательных результатах, но поданных так, чтобы они казались положительными, и переписали их без всяких хитростей, убрав все неоправданные преувеличения и убедившись, что результаты представлены честно. И затем показали эти аннотации тремстам клиницистам – в конце концов, они и есть целевая аудитория, поскольку регулярно принимают решения по выбору лекарств и других методов лечения. Как и следовало ожидать, клиницисты сочли те методы лечения, о которых говорилось в “раскрученных” аннотациях, более действенными. Важно, правда, отметить, что эффекты в этой работе были довольно небольшими, с p-значениями чуть ниже порога в 0,05. Хотелось бы увидеть повторение исследования, прежде чем слишком доверять его результатам, – вот почему я рассказываю о нем только тут, в примечании. Boutron I. et al. Impact of Spin in the Abstracts of Articles Reporting Results of Randomized Controlled Trials in the Field of Cancer: The SPIIN Randomized Controlled Trial. Journal of Clinical Oncology. 32, no. 36 (2014):
