Книга Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

исследования, однажды пробиотики будут использовать для лечения симптомов аутизма[566]. Все это было чистейшим надуванием щек. Даже если не принимать во внимание ничтожный размер выборки в исследовании и довольно спорные допущения об эквивалентности поведения человека и мыши, в эксперименте вообще не проверялась способность пробиотиков или трансплантатов облегчать какие-либо предполагаемые симптомы “аутизма” грызунов, не говоря уже об их “эквиваленте” у людей.

Еще авторы, похоже, прибегли к подаче под нужным углом – кое о чем пытаясь умолчать. Их исследование включало и второй тест на социальное поведение, когда мышь могла выбрать, на что или кого потратить время – на другую особь или на “небольшой предмет”. Гипотеза заключалась в том, что мыши с микробиомом от людей, страдающих аутизмом, выберут вместо мыши-компаньона объект, однако никакой разницы обнаружено не было. Как отметил научный журналист Джон Брок в подробном критическом разборе этого исследования, авторы проскочили мимо неудобного результата, ограничившись единственным предложением, тогда как все результаты, оказавшиеся знаменательными, были представлены в статье на полноцветном графике[567].

Раздувание и подача под нужным углом такого крошечного, предварительного исследования – уже достаточно плохо, но все еще хуже. Когда биостатистик Томас Ламли получил данные, которыми располагали авторы, и попробовал воспроизвести их анализ, он обнаружил, что они неправильно провели свои статистические тесты. У них каждая мышь словно бы имела своего собственного донора человеческих фекалий, но на самом деле на сто мышей приходилось очень немного доноров[568]. Когда тесты были проведены надлежащим образом, сохранился только результат с закапыванием шариков, причем с почти пограничным p-значением в 0,03. Несмотря на столь серьезную критику, авторы, насколько мне известно, ответом не озаботились.

Не все исследования микробиома в корне статистически ущербны, как описанная работа с аутизмом и мышами, хотя многие из них столь же сомнительны с точки зрения безмерно раздутых выводов. В методологически сходном исследовании 2019 года утверждалось, что пересадка мышам микробиома пациентов с шизофренией может вызвать у грызунов симптомы психоза. В заключение было сказано, что полученные результаты “способны привести к новым стратегиям диагностики и лечения” шизофрении, что кажется более чем преждевременным[569]. Как бы то ни было, не исключено, что различия в микробиоме действительно играют свою роль в сложных причинах возникновения симптомов аутизма или шизофрении либо каких-то других заболеваний из перечисленных выше у мышей или у людей[570]. Однако исследователям микробиома необходимо постепенно накапливать надежные результаты, а не вываливать средствам массовой информации каждое небольшое, возможно, подвергнутое p-хакингу исследование, в котором обнаруживается хоть какой-то эффект, утверждая, что это огромный научный прорыв. Вполне вероятно, что количество пресс-релизов связано с незрелостью научной области, когда со стороны средств массовой информации больше внимания уделяется областям с уймой “многообещающих” результатов, среди которых маловато хорошо воспроизводимых.

В последнее время в научном сообществе звучат призывы охладить хайповый пыл вокруг микробиома и связанных с ним методов лечения, а также улучшить качество исследований[571]. А пока грубо преувеличенные утверждения из статей и пресс-релизов создают видимость научного обоснования для множества бесполезных, вредных или попросту идиотских средств, имеющих отношение к микробиому: изготовленный с использованием микробов из кишечника элитных спортсменов пробиотический напиток, который якобы может улучшить ваши показатели, помешательство на “ирригации толстой кишки”, когда кишечник промывают водой, что сопряжено с жутковато звучащими рисками вроде “перфорации прямой кишки”, и компания, занимающаяся тестированием микробиома, которая позволяет вам напрямую узнать “национальность” вашего[572].

Повальные увлечения, подобные микробиомной мании, то усиливаются, то ослабевают, однако есть одна область исследований, которая постоянно порождает больше шумихи, вызывает больше интереса со стороны средств массовой информации и страдает от описываемых в этой книге недостатков больше, чем любая другая. Это, конечно же, питание. У медиа просто зверский аппетит на всякие псевдооткрытия: “Новая страшная наука, показывающая, что молоко для вас вредно”; “Английский завтрак – убийца: бекон повышает риск рака”; “Новое исследование демонстрирует, что яйца разобьют вам сердце”[573]. Учитывая огромный объем информации и количество противоречивых предписаний, как нам следует изменить свой рацион, неудивительно, что люди запутались, что им следует есть. После многих лет, в течение которых общественность кормили раздутыми результатами, она потеряла всякую уверенность и скептически относится к исследованиям в этой области[574].

Наука о питании – нутрициология – переживает, как и психология, свой собственный кризис воспроизводимости. Отчасти это может быть связано с мошенничеством: например, кардиолог Дипак Дас, опубликовавший десятки высокоцитируемых статей о пользе ресвератрола (это вещество, содержащееся в кожуре красного винограда, а следовательно, и в красном вине) для здоровья сердца, был уволен из Университета Коннектикута в 2012 году, когда выяснилось, что он подделал данные в девятнадцати исследованиях[575]. Отчасти же, наверное, виновата предвзятость: многие исследования финансируются пищевой промышленностью[576]. Более того, многие ученые сами придерживаются тех диет, которые изучают, что дает им личный стимул искать доказательства их пользы[577].

Наконец, отчасти проблема обусловлена многими другими видами предвзятостей и ошибок, с которыми мы теперь знакомы. Возьмем, к примеру, идею о том, что мы должны есть меньше насыщенных жиров и больше ненасыщенных, – краеугольный камень советов нутрициологов, повторяемый в бесчисленных рекомендациях по правильному питанию[578]. Однако же это не подтвердилось в метаанализе 2017 года, где сравнивались насыщенные жирные кислоты и полиненасыщенные по их связи с сердечно-сосудистыми заболеваниями и смертью[579]. Вероятно, причин тому три. Во-первых, налицо характерные признаки публикационного смещения – с однобокими воронкообразными диаграммами, свидетельствующими о том, что исследования с малыми выборками и небольшими эффектами отправились в “картотечный ящик”[580]. Во-вторых, в одном из испытаний, заявленном как рандомизированное, была допущена ошибка, которая означала, что рандомизированным оно, похоже, не было[581]. В-третьих, многие исследования были спланированы неумело – помимо питания менялись и другие факторы, которые могли повлиять на результаты[582]. Сделанный в метаанализе вывод гласил, что убедительных доказательств пользы от замены насыщенных жиров ненасыщенными мало и что в предыдущих метаанализах – на результатах которых правительства нескольких стран основывали свои рекомендации по питанию – просто не были замечены все проблемы.

Можно с уверенностью утверждать, что значительная часть разрекламированных в средствах массовой информации исследований в области питания подвержена также и p-хакингу. Поскольку существует так много больших наборов данных с таким количеством значимых переменных – а участники исследований в области питания обычно заполняют так называемый опросник по частоте потребления различных пищевых продуктов, где указывают все, что они ели, скажем, за предшествующую неделю, – есть масса возможностей прочесывать данные