Книга Обман в науке - Бен Голдакр

Это, как вы понимаете, было совершенно неверно: редкость этого события не имеет отношения к данному случаю, поскольку двойное убийство детей — событие также чрезвычайно редкое. В суде был дважды упущен этот статистический нюанс.

Медоу выглядел глупо, и его за это обвиняли (некоторые могут сказать, что весь процесс был усугублен «охотой на ведьм» среди педиатров, которые занимаются насилием в отношении детей), но правда то, что он должен был заранее предвидеть проблемы с интерпретацией этой цифры, так же как и остальные участники процесса: педиатр несет не большую ответственность за ее интерпретацию, чем адвокат, судья, журналист, присяжный или чиновник. «Прокурорская ошибка» также играет роль в анализах ДНК, например, где интерпретация часто зависит от комплексных математических и контекстуальных проблем. Каждый, кто собирается трактовать цифры, использовать их, строить на них предположения, преследовать кого-либо на их основании и тем более сажать в тюрьму, должен взять на себя ответственность понимать их. Все, что вы сделали — это прочитали научно-популярную книгу о них и уже можете видеть, что это не ракетостроение.

Проигрыш в лотерею

Удивительнейшая вещь произошла со мной сегодня вечером. Я шел сюда, на лекцию, и зашел через парковку. Вы не поверите, что случилось. Я увидел машину с номером ARW 357. Можете представить? Каков был шанс, что из миллионов автомобильных номеров в штате я сегодня увижу именно этот номер? Удивительно…

Ричард Фейнман

Возможно также, что вам не повезет. Медсестра Лусия де Берк провела в голландской тюрьме шесть лет по обвинению в семи убийствах и трех попытках убийства. Необычно большое число людей умерло во время ее смен, и это, наряду с другими слабыми свидетельствами, послужило доказательством ее вины. Она не призналась в преступлениях и продолжала настаивать на своей невиновности, но в суде были представлены некоторые статистические данные.

Обвинение фактически было основано на цифре 1:342 000 000. Даже если мы найдем ошибки, а мы найдем, поверьте, так же как и в предыдущем случае, эта цифра окажется совершенно ни при чем. Как мы уже видели, интересные вещи, которые происходят в статистике, — это не математические трюки, а то, что действительно означают цифры.

Здесь мы имеем важный урок, из которого можем извлечь пользу: маловероятные вещи происходят. Кто-то каждую неделю выигрывает в лотерею, дети гибнут от молнии. Это становится по-настоящему удивительным только тогда, когда очень странные и невероятные вещи случаются, если вы их предсказали[52].

Вот аналогия.

Представьте, что я стою около большого деревянного сарая с большим автоматом в руках. Я надеваю на глаза повязку и начинаю беспорядочно палить, выпуская в сторону сарая тысячи пуль. Затем я бросаю автомат, подхожу в стене и внимательно в течение некоторого времени изучаю следы от пуль. Я нахожу место, где три пули попали в стену рядом, обвожу это место как мишень и заявляю, что я отличный стрелок.

Я думаю, вы не согласитесь ни с моим методом, ни с моими результатами. Но именно это и произошло в случае с Лусией: обвинители обнаружили семь смертей в смену одной медсестры, в одной больнице, в одном городе, в одной стране в мире, а затем нарисовали вокруг них мишень.

Это нарушает основное правило любого исследования, связанного со статистикой: вы не можете найти вашу гипотезу в ваших результатах. Прежде чем вы подвергнете данные статистическому анализу, вы должны уже иметь гипотезу для проверки. Если ваша гипотеза является результатом анализа данных, то нет смысла анализировать те же данные, чтобы ее подтвердить.

Это довольно сложная, философская математическая форма круговорота: но в этом случае есть также очень конкретные формы «кругового» рассуждения. Чтобы собрать больше данных, следствие вернулось в палаты посмотреть, не было ли там подозрительных смертей. Но люди, которых просили припомнить подозрительные случаи, уже знали, что Лусия может быть серийным убийцей. Существовал высокий риск того, что фраза «случай был подозрительным» станет синонимом фразы «Лусия была на дежурстве». Несколько внезапных смертей в те дни, когда Лусии не было на дежурстве, исключались из расчетов по определению: они не были подозрительными, потому что Лусии в это время не было.

Еще хуже. «Нас попросили составить список случаев, которые произошли во время или вскоре после дежурств Лусии», — сказала одна сотрудница больницы. Таким образом, были исключены другие случаи и увеличилась вероятность подозрительных смертей в смены Лусии. А тем временем она сидела в тюрьме в ожидании суда.

Это сюжет для ночных кошмаров.

В то же время огромное количество статистической информации было почти полностью проигнорировано. За три года, до того как Лусия начала работать в этой палате, там было семь смертей. За три года ее работы в этой палате произошло шесть смертей. Вот вам пища для размышлений: кажется, что смертность в палате снизилась в тот момент, когда там появилась маньячка. Если она убила их всех, то это означает, что в палате вообще не было естественных смертей за все три года, что она там работала.

С другой стороны, как установил прокурор на суде, Лусия увлекалась магией. И отрывки из ее личного дневника, которые зачитывались на суде, звучали довольно странно. Она могла совершить преступление.

Но самое странное в этом случае вот что. В выведении этой умопомрачительной цифры в стиле Роя Медоу (1:342 000 000) прокурорский статистик сделал элементарную математическую ошибку. Он объединил отдельные статистические тесты, перемножив пи-величины, то есть математическое выражение вероятности или статистической значимости. Это немного сложно, и это будет опубликовано, но я тем не менее собираюсь это написать: необходимо не просто перемножать пи-величины, а рассчитывать с помощью специальной методики типа «метода Фишера для комбинирования независимых пи-величии».

Если вы их перемножите, то безобидные и вероятные события быстро превратятся в крайне невероятные. Допустим, вы работали в 20 больницах, в каждой их которых произошел безобидный инцидент: пи-величина p = 0,5. Если вы перемножите эти величины, характеризующие совершенно случайные события, вы получите итоговое значение p = 0,520, то есть р < 0,000001, что является абсолютно статистически значимым. При такой математической ошибке и соответствующем рассуждении, если вы часто меняете больницы, в которых работаете, вы автоматически становитесь подозреваемым. Вы работали в 20 больницах? Пожалуйста, не говорите об этом голландской полиции.

15. Медицинские страхи

В предыдущей главе мы рассматривали индивидуальные случаи: они могли быть вопиющими и в некоторых отношениях абсурдными, но спектр вреда, которые они могли причинить, ограничен. Мы уже видели на примере совета доктора Спока о том, как младенцы должны спать, что, когда вашему совету следует большое количество людей, а вы не правы, даже при самых лучших намерениях вы можете нанести большой вред, поскольку риск возрастает с увеличением количества людей, которые начинают менять свое поведение.