Книга Обман в науке - Бен Голдакр

Стоит понять эти ошибки в интерпретации данных не только потому, что по ним прекрасно видно, как люди воспринимают мир неправильно, но и потому, что цель этой книги — защитить вас от новых вариантов чуши. Есть несколько вещей, которые стоит понять с самого начала. Во-первых, я использую конкретные примеры, но они характеризуют всех представителей этой профессии, поэтому таких примеров можно привести много. Я никого не задеваю персонально, и никто из них в действительности не отличается от общей толпы диетологов, хотя я уверен, что большинство упомянутых здесь людей даже не смогут понять, в чем они ошиблись.

Во-вторых, я не высмеиваю простые разумные советы по здоровому питанию. Здоровое питание является очень важным, как и другие хорошие привычки (многие из которых, вероятно, более важны, но вы не узнаете об этом из газет). Однако диетологи из СМИ говорят бездоказательно: часто о продаже БАД, иногда о продаже диет, или новых диагнозах, или усилении зависимости, но все это базируется на желании создать рынок, где они будут экспертами, а вы — обманутым дураком.

Подготовьтесь к смене ролей.

Четыре ключевые ошибки

Данные существуют?

Это, возможно, самая простая ошибка, и даже в авторитетных изданиях она встречается часто. Вот, например, Майкл ван Стратен (Michael van Straten) в программе «Ночь новостей» (Newsnight) на ВВС рассказывает о «фактах». Если вы не верите, что его выступление вполне серьезно, аргументированно и даже несколько аристократично, то его можно посмотреть онлайн.

«Когда Майкл ван Стратен начал писать о чудесной медицинской силе фруктовых соков, его сочли чудаком, — начинает “Ночь новостей”. — Но теперь он на пике моды». В мире, где журналисты борются с наукой, стоит заметить, что передача ставит «чудака» на один конец оси, а моду — на противоположный. Но эта глава будет позже. Ван Стратен протягивает ведущему стакан сока. «Еще два года вашей жизни! — Он улыбается, потом приобретает серьезный вид. — Если честно, то полгода». Серьезное исправление. Он говорит: «Недавнее исследование, опубликованное на прошлой неделе в Америке, показало, что употребление в пищу гранатов, гранатового сока может действительно предотвратить старение и образование морщин».

Услышав такое в «Ночи новостей», человек действительно может счесть, что в Америке недавно было опубликовано исследование, выявившее, что гранаты предотвращают старение. Но если обратиться к Medline, стандартному поисковику по медицинским статьям, то выяснится, что такого исследования

не было, во всяком случае, я его найти не смог. Возможно, это была просто реклама производителей гранатов. Он продолжает: «Группа пластических хирургов в США провела исследование, в котором незадолго до операции и некоторое время после нее пациентки ели гранаты и пили гранатовый сок. Обнаружилось, что они выздоравливали вдвое быстрее, со вдвое меньшим количеством осложнений и без видимых морщин». Опять же, это узкое исследование (исследование гранатов на хирургических пациентах), и в нем нет точных данных.

Вы сможете честно назвать передачу «Ночь новостей» ложью? Конечно, нет. В защиту почти всех диетологов могу сказать, что, чтобы считаться лжецами, им не хватает медицинского опыта, намерения и умственных способностей. Профессор философии Принстонского университета Гарри Франкфурт (Harry Frankfurt) детально разобрал этот вопрос в эссе 1986 года «О заблуждении» (On Bullshit). По его модели, «заблуждение» — это форма фальсификации, отличающаяся от лжи: лжец знает правду, но пытается ввести в заблуждение, говорящий правду знает правду и хочет донести ее до слушателей, заблуждающийся не думает о правде и просто хочет произвести впечатление.

«Никто не может врать, если он не знает правды. Чтобы нести чушь, такое знание не нужно. Когда говорит честный человек, он говорит только то, что считает правдой. Лжец обязательно считает свои высказывания ложью. Для заблуждающегося таких ограничений нет: он ни на стороне правды, ни на стороне лжи. Он вообще не смотрит на факты в отличие от честного человека и лжеца, кроме тех случаев, когда ему нужны факты для подтверждения его речи. Он не заботится о том, чтобы его речь корректно описывала действительность. Он просто берет то, что ему нужно, или придумывает то, что нужно для достижения своих целей».

Я считаю, что ван Стратен, как и многие другие личности из этой книги, относится к лагерю заблуждающихся. Справедливо ли выбирать именно его в качестве примера? Возможно. В биологии есть проволочная рамка, которая называется «квадрат». Ее кладут на землю в случайном месте и изучают то, что в нее попало. Тем же способом я обошелся с диетологами, и пока у меня нет Департамента по изучению псевдонауки с армией лаборантов, выполняющих измерения, мы не узнаем, кто из них хуже. Ван Стратен кажется приятным дружелюбным парнем. Но с кого-то же нужно начать.

Наблюдение или вмешательство?

Солнце действительно встает из-за петушиного крика? Нет. От включения света в комнате становится светлее? Да. Явления могут происходить одновременно, но это очень слабое доказательство причинной связи. Но именно такой тип доказательств используют большинство популярных диетологов в качестве серьезного подтверждения своих заявлений во второй крупной «утке».

Согласно газете Daily Mirror, Анжела Доуден (Angela Dowden) является «ведущим диетологом Великобритании». Этот «титул» продолжают использовать даже после того, как Общество диетологов заявило, что она высказывала в СМИ бездоказательные утверждения.

Вот более интересный пример из высказываний Доуден — цитата из ее колонки в газете Mirror о продуктах, обеспечивающих защиту от яркого солнца. «Исследование, проведенное в Австралии в 2001 году, показало, что оливковое масло (в сочетании с овощами, фруктами и бобовыми) обеспечивает реальную защиту кожи от морщин. Ешьте больше оливкового масла, заправляя им салаты, или макайте в него хлеб вместо сливочного». Это очень конкретный совет, цитирующий очень конкретное издание, причем в авторитарном тоне. Это типичный пример того, что можно получить из популярных передач по диетологии. Давайте обратимся в библиотеку и найдем статью, на которую она ссылается («Морщины: влияет ли на них пища?» (Skin wrinkling: can food make a difference?), Purba M.B et al. J. Am. Coll. Nutr. 2001 Feb; 20(1): 71–80). Перед тем как пойти дальше, стоит понять, что мы критикуем то, как Доуден интерпретировала статью об исследовании, а не саму статью, в которой качественно описана исследовательская работа.

Это было обсервационное исследование, а не эксперимент. Людям не давали оливковое масло в течение заданного времени и не мерили глубину морщин, скорее поступали наоборот. Выбрали четыре группы людей с разным образом жизни, включая греков, англо-австралийцев и шведов, и выяснили, что у людей с разными привычками в питании и, как можно предположить, с разным образом жизни разное количество морщин.

По-моему, это не новость. Это иллюстрация к частому явлению в эпидемиологических исследованиях под названием «влияющие переменные»: есть переменные, пока вам неизвестные, но они связаны как с изменяемым параметром (еда), так и с результатом его воздействия (морщины).