Книга Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

753

Как отмечено в примечании 55 к этой главе, некоторые стандартные журналы тоже делают открытым свой процесс рецензирования.

754

Эта идея в разных вариантах обсуждается в данных работах: Nosek B. A., Bar-Anan Y. Scientific Utopia: I. Opening Scientific Communication. Psychological Inquiry. 23, no. 3 (2012): 217–43; Stern B. M., O’Shea E. K. A Proposal for the Future of Scientific Publishing in the Life Sciences. PLOS Biology. 17, no. 2 (2019): e3000116. Также см. Birukou A. et al. Alternatives to Peer Review: Novel Approaches for Research Evaluation. Frontiers in Computational Neuroscience. 5 (2011).

755

Перспективное воплощение этой идеи – организация Peer Community In (PCI; https://peercommunityin.org), которая “стремится создать специальные сообщества исследователей, бесплатно рецензирующих и рекомендующих не опубликованные в журналах препринты в своей области”. В PCI уже входят сообщества ученых в том числе из таких областей, как эволюционная биология, экология, палеонтология, нейронаука, геномика.

756

В данной работе даже предлагается, чтобы журналы курировали случаи “исследований, требующих повторения” и “статей, содержащих спорные утверждения”: Stern B. M., O’Shea E. K. A Proposal for the Future.

757

А можно представить себе комбинацию этой модели с принципом “зарегистрированных отчетов”, рассмотренным нами ранее, – когда предварительно описываются в препринтах и оцениваются не готовые работы, а планы исследований. Еще такая система могла бы использовать алгоритмы проверки ошибок, внедрить которые для репозитория препринтов не сложнее, чем для журнала старого образца.

758

Вообще говоря, в небольшом масштабе кое-что уже тестируется: https://asapbio.org/eisen-appraise.

759

Следует отметить, что в большинстве архивов с препринтами работы просматриваются, чтобы не допустить появления дичайшей ерунды, размещаемой злоумышленниками или безумцами. Однако полноценное рецензирование не осуществляется (да это и невозможно, учитывая, сколько на все про все уходило бы времени).

760

Fryer R. An Empirical Analysis of Racial Differences in Police Use of Force. Working Paper no. 22399. National Bureau of Economic Research. 2016.

761

Там же.

762

Bui Q., Cox A. Surprising New Evidence Shows Bias in Police Use of Force but Not in Shootings. New York Times. 11 July 2016.

763

Elder L. Ignorance of Facts Fuels the Anti-Cop “Movement”. RealClear Politics. 14 July 2016.

764

Simonsohn U. Teenagers in Bikinis: Interpreting Police-Shooting Data. Data Colada. 14 July 2016.

765

Этот факт был отмечен в строке препринта, следующей за сообщением о значении 23,8 %, но в ходе общения Фрайера с прессой, по-видимому, не всплывал. Дополнительную критику исследования Фрайера можно найти в следующих блогах экономистов: Rajiv S. Police Use of Force: Notes on a Study. Blog. 11 July 2016; Feldman J. Roland Fryer is Wrong: There is Racial Bias in Shootings by Police. Harvard University, blog. 12 July 2016.

766

Fryer R. An Empirical Analysis of Racial Differences in Police Use of Force. Journal of Political Economy. 127, no. 3 (2019): 1210–61.

767

Кстати, препринт Фрайера несколько его коллег-экономистов просмотрели, просто он не был отрецензирован по форме и опубликован. Engber D. Was This Study Even Peer-Reviewed? Slate. 25 July 2016.

768

www.biorxiv.org/content/early/recent. (Обратите внимание: предупреждение скорее временное, так что к моменту выхода этой книги его уже могут изменить или удалить.)

769

Kupferschmidt K. Preprints Bring “Firehose” of Outbreak Data. Science. 367, no. 6481 (2020): 963–4.

770

McKiernan E. et al. The “Impact” of the Journal Impact Factor in the Review, Tenure, and Promotion Process. Impact of Social Sciences. 26 April 2019.

771

Flier J. S. Credit and Priority in Scientific Discovery: A Scientist’s Perspective. Perspectives in Biology and Medicine. 62, no. 2 (2019): 189–215.

772

Совсем иначе обстоит дело в некоторых других областях, таких как математика и в меньшей степени физика, где авторы указываются по алфавиту (хотя такая практика, судя по всему, становится все менее распространенной). См. Waltman L. An Empirical Analysis of the Use of Alphabetical Authorship in Scientific Publishing. Journal of Informetrics. 6, no. 4 (2012): 700–11.

773

Mallapaty S. Paper Authorship Goes Hyper. Nature Index. 30 Jan. 2018.

774

Longo D. L., Drazen J. M. Data Sharing. New England Journal of Medicine. 374, no. 3 (2016): 276–7. Еще редакторы журнала The New England Journal of Medicine беспокоились, как бы исследователи-паразиты не стали “даже использовать данные для того, чтобы пытаться опровергнуть установленное первоначальными исследователями”, что уж явно нелепо. Однако есть сходное опасение, которое обсудить стоит: если ваши данные открыты и вы публикуете в интернете свои планы относительно того, что собираетесь с ними делать, вас могут обойти – другие ученые возьмут ваши данные, проведут ваш анализ и поспешат опубликовать статью раньше вас. В отрасли, столь ориентированной на новизну, карьеру вот так обойденного ученого может ждать крах. Впрочем, неясно, насколько часто это происходит, и есть несколько соображений, которые нужно изложить. Во-первых, в деликатных ситуациях вы вправе наложить запрет на предварительные регистрации – чтобы они стали достоянием общественности только после того, как вы проведете анализ данных (но при этом есть отметка времени, показывающая, когда вы зарегистрировали свои гипотезы). Во-вторых, обидно, конечно, оказаться обойденным, но на самом деле не так уж плохо, если разные люди проводят один и тот же анализ одних и тех же данных: сравнивая разные версии, можно выявить ошибки или упущения. Именно поэтому как минимум один журнал (PLOS Biology) позволяет обойденным исследователям подавать на рассмотрение собственную статью, у которой все равно будут все шансы на публикацию: The PLOS Biology Staff Editors. The Importance of Being Second. PLOS Biology. 16, no. 1 (2018): e2005203.

775

Одна группа исследователей предложила использовать Т-индекс – показатель, пересчитывающий индекс Хирша автора на основании того, какой реальный вклад тот внес в каждую работу, на которой стоит его имя. Если ученый склонен возглавлять большинство своих проектов, то его Т-индекс будет