Книга Обман в науке - Бен Голдакр

Несколько крупных фигур доказательной медицины провели исследование слепых экспериментов при исследовании лекарств и выяснили, что недостаточно слепые эксперименты преувеличивали преимущества изучаемых лекарств примерно на 17 %. Слепой эксперимент — это не тайный элемент придирок таких педантов, как я, для «наездов» на альтернативную медицину.

Если обратиться к более близким к гомеопатии темам, то обзор исследований воздействия акупунктуры на боль в спине показал, что при корректном слепом исследовании преимущество акупунктуры очень мало и статистически незначимо (к тому, что это означает, мы вернемся позже). Между тем, если исследование не было слепым (пациенты знали, к какой группе относились), преимущество акупунктуры было серьезным и статистически значимым. Если интересно, то плацебо для акупунктуры — это имитация процесса с ненастоящими иглами или иглами в неправильных местах, хотя с этим могут быть сложности, так как разные школы акупунктуры считают разные места правильными.

Итак, очевидно, что слепой эксперимент важен и не каждое исследование можно считать достаточно хорошим. Вы не можете просто сказать: «Вот исследование, подтверждающее, что метод лечения действует», — потому что существуют хорошие и плохие исследования. Если врачи и ученые говорят, что исследование проведено с ошибками и недостоверно, это не потому что они такие нехорошие или пытаются сохранить свое господствующее положение или не пустить взяточников в фармакологию: это просто потому, что исследование было проведено неправильно (слепой эксперимент дополнительных денег не требует) и не было достоверным.

Рандомизация

Давайте на время оставим теорию и посмотрим на исследования, которые, по словам гомеопатов, подтверждают действенность их методов. У меня перед глазами стандартный обзор исследований гомеопатической арники, за авторством Эдварда Эрнста, где мы и найдем примеры. Стоит понять, что такие неточности не уникальны, а я не злобствую и не пытаюсь приписать лишнего. Мы просто проделаем то же, что медики и академики делают для оценки достоверности доказательств.

Итак, Гильдебрант с соавторами (как говорят в академии) изучил 42 женщины, которые принимали гомеопатическую арнику от болей в мышцах, и выяснил, что арника действует лучше, чем плацебо. На первый взгляд это правдоподобное исследование, но если присмотреться, то видно, что рандомизация не описана. Рандомизация — это еще одно базовое понятие клинических исследований: мы случайным образом распределяем пациентов по группам, принимающим плацебо и гомеопатические пилюли, так как в другом случае есть шанс, что доктор или гомеопат, сознательно или бессознательно, направит пациентов, думающих, что они выздоровеют, в группу гомеопатии, а не надеющихся — в группу плацебо, тем самым исказив результаты.

Рандомизация — это не новая идея. Жан Баптиста ван Гельмонт (John Baptista van Helmont) впервые предложил своим современникам-академикам сравнить их способы лечения, такие как кровопускания и клизмы (основанные на теории), с его способами, основанными на клинической практике. «Давайте возьмем из госпиталей, приютов или еще откуда-нибудь 200 или 500 больных с лихорадками, плевритами и т. д. Потом разделим их на две группы: одну лечите вы, другую — я… Посмотрим, у кого будет меньше могил».

Сейчас сложно найти столь беззаботного экспериментатора, который бы вообще никак не рандомизировал исследование, даже в области альтернативной медицины. Но удивительно часто встречаются исследования, в которых метод рандомизации некорректен: на первый взгляд они правдоподобны, но если присмотреться, то выяснится, что рандомизация была просто представлением, на самом деле сохранявшим для экспериментатора возможность влиять, сознательно или бессознательно, в какую группу будет направлен пациент.

В некоторых недостоверных исследованиях, во всех областях медицины, пациентов распределяют в группы по тому, как они записались на исследование: первый — в экспериментальную, второй — в контрольную, третий — в экспериментальную, четвертый — в контрольную и т. д. Это выглядит достаточно объективно, но, по сути, создает возможность систематических ошибок в исследовании.

Представим себе пациента, которого гомеопат считает безнадежным, сердечника, которому не станет лучше, какое бы лечение он или она ни получал, а следующий принимаемый пациент идет в «гомеопатическую» группу. Понятно, что сознательно или подсознательно гомеопат может счесть, что этот пациент «вряд ли будет заинтересован в участии в исследовании». Но если этот безнадежный пациент придет тогда, когда принимают в группу плацебо, экспериментатор примет его с большим удовольствием.

То же самое относится ко всем остальным некорректным методам рандомизации: по последней цифре в дате рождения, по дате появления в клинике и т. п. Есть ряд исследований, заявляющих, что пациентов распределяли, подбрасывая монетку, но, на мой взгляд (и на взгляд медиков), подбрасывание монетки тоже оставляет пространство для манипуляций. «По результатам трех бросков и все. Извините, по результатам пяти. Ой, я действительно ее не заметил, что она упала на пол».

Есть целый ряд, несомненно, корректных методов рандомизации, и хотя для их применения требуется здравый смысл, они почти ничего не стоят. Классический вариант — пациент звонит на специальный номер, где ему отвечает человек с генератором случайных чисел (а врач вообще не задействован до тех пор, пока пациент не включен в исследование). Это наиболее популярный метод среди дотошных исследователей, собирающих подтверждения тому, что они проводят достоверные исследования, просто потому что нужно быть бесспорным обманщиком, чтобы спутать результаты, и для этого придется потрудиться. К высмеиванию шарлатанов мы вернемся несколько позже, а сейчас мы говорим об одной из наиболее важных идей в современной интеллектуальной истории.

Имеет ли рандомизация значение? Как и в случае со слепотой эксперимента, эффект рандомизации изучали на большом количестве исследований и выявили, что нечестные методы рандомизации приводили к преувеличению эффектов от лечения на 41 %. По-настоящему серьезная проблема низкокачественных исследований не в том, что в них использовался некорректный метод рандомизации, а в том, что они вообще не указывали, каким способом делили пациентов на группы.

Это классический предупреждающий знак, часто говорящий о том, что исследование было проведено неправильно. И опять это не предубеждение: исследования с нечеткими методами рандомизации ведут к переоценке эффектов лечения на 30 %, что очень похоже на действие откровенно неработающего метода рандомизации.

На самом деле всегда стоит беспокоиться, если люди не сообщают о существенных деталях своих действий или результатов. Уже описаны два исследования, ставшие классическими,

О том, как часто недостоверная информация в научных статьях связана с дурацкими, часто преувеличенными результатами. Да, в исследованиях, где методика не описана полностью, преимущества нового способа лечения преувеличиваются в среднем на 25 %. Прозрачность и детали — это все в науке. Гильдебрант с соавторами, хотя в этом нет их вины, оказались иллюстрацией для разговора о рандомизации (и я им за это благодарен): возможно, они рандомизировали пациентов, возможно, они сделали это корректно. Но они это не описали.