Книга Обман в науке - Бен Голдакр

Но чтобы завязать такую дискуссию, необходимо понимать математику предсказания очень редких событий. Давайте возьмем конкретный пример и посмотрим на ВИЧ-тест. Какие черты любой диагностической процедуры мы измеряем, чтобы судить о ее пользе? Статистики скажут, что анализ крови на ВИЧ имеет высокую чувствительность 0,999. Это означает, что если у вас есть вирус, то анализ крови покажет его наличие с вероятностью 99,9 %. Они также скажут, что этот тест имеет высокую специфичность — 0,9999, то есть если вы не инфицированы, то тест будет отрицательным с вероятностью 99,99 %. Шикарный тест[51].

Но если вы посмотрите на этот тест с точки зрения того, кого тестируют, математика станет слегка противоречивой. Поскольку, как это ни странно, значение, или прогностическая ценность, положительного или отрицательного теста того или иного человека меняется в разных ситуациях, в зависимости от того, насколько редким является событие, которое определяется с помощью этого теста. Чем реже событие в данной популяции, тем хуже становится тест, даже если это тот же самый тест.

Это легче понять на конкретном примере. Допустим, что распространенность ВИЧ-инфекции среди людей в группе высокого риска в данной местности 1,5 %. Мы проводим наш анализ крови на 10 000 человек и можем ожидать 151 положительный результат; из них 150 будут истинно положительными (люди действительно имеют этот вирус) и один — ложноположительным, поскольку (исходя из вышесказанного) мы можем ожидать один неправильный результат на 10 000 анализов. Поэтому, если у вас положительный результат в этих обстоятельствах, это означает, что шанс, что вы действительно заражены вирусом, составит 150 из 151. Это высокая прогностическая ценность.

Давайте рассмотрим тот же пример, но в ситуации, где распространенность вируса составляет 1:10 000. Если мы проверим 10 000 человек, мы будем ожидать два положительных результата. При этом один из этих людей действительно имеет ВИЧ, а другой результат — тот самый ложноположительный, который мы можем ожидать при анализе 10 000 человек.

То есть, если общая частота события невелика, даже блестящий тест может стать, мягко говоря, неточным. Из двух людей с положительным результатом в этой группе населения один будет действительно ВИЧ-инфицирован, а другой — нет. Шанс на то, что вы действительно ВИЧ-положительны, 50:50.

Давайте свяжем это с насилием. Самый лучший прогностический тест для психиатрического насилия имеет чувствительность 0,75 и специфичность 0,75. Еще труднее быть точным, если мы имеем дело с человеческим сознанием и меняющейся человеческой жизнью. Допустим, что 5 % пациентов, осмотренных бригадой психиатров в данном сообществе, в течение года совершат насильственное действие. Используя тот же самый математический метод, что и в случае с ВИЧ-тестом, мы узнаем, что наш лучший прогностический инструмент будет ошибаться в 86 случаях из 100. Для серьезного насилия, частота которого составляет 1 % в год, наш тест с чувствительностью 0,75 неправильно укажет на потенциального насильника 97 раз из 100. Стоит ли превентивно изолировать 97 человек, чтобы предотвратить три случая насилия? И стоит ли применять это в отношении алкоголиков и прочих антисоциальных типов?

Для убийства, самого редкого преступления среди пациентов с психозом, происходящего с частотой 1:10 000 в год, уровень ложноположительных результатов будет настолько высок, что лучший прогностический тест будет совершенно бесполезен.

Это не крик отчаяния. Есть вещи, которые можно делать, и вы можете попытаться снизить число насильственных преступлений, хотя трудно сказать, сколько «убийств в неделю» представляют собой явный провал системы, потому что, когда вы оглядываетесь назад и смотрите в ретроспектроскоп, может показаться, что все, что происходит, недвусмысленно ведет к одному негативному событию. Я только привожу вам математические выкладки для редких событий. Что с этим делать, решайте сами.

Вас посадят

В 1999 году юрист Салли Кларк (Sally Clark) предстала перед судом по обвинению в убийстве двух своих детей. Большинство людей сейчас знают, что в обвинении была допущена статистическая ошибка, но немногие знают истинную историю, или феноменальную степень статистического невежества, которая была продемонстрирована в суде. На процессе профессор Рой Медоу (Roy Meadow), эксперт, специализирующийся на родительском насилии над детьми, давал свидетельские показания. Медоу заявил (эта цитата стала знаменитой), что шанс того, что два ребенка в одной семье могли умереть от синдрома внезапной младенческой смерти (СВМС), равен 1 к 73 миллионам.

Это было очень сомнительное свидетельство по двум причинам: одну понять легко, вторую сложно. Поскольку вам придется сконцентрироваться на двух следующих страницах, вы будете более осведомлены в этом вопросе, чем профессор Рой Медоу, судья на процессе Салли Кларк, ее адвокаты, судьи апелляционного суда и почти все журналисты, освещавшие процесс. Сначала займемся легкой причиной.

Экологическая ошибка

Цифра 1 на 73 миллиона сама по себе неточна, как все сейчас признают. Она была рассчитана как 8,543 × 8,543, то есть как если бы шансы двух смертей от СВМС в одной семье были совершенно независимы друг от друга. Это неверно с самого начала, и ясно почему: в двух смертях в одной семье могли сыграть роль общие факторы окружающей среды или генетические факторы. Но забудьте о том, как вы были довольны собой, потому что это поняли. Даже если мы допустим, что вероятность двух случаев СВМС в одной семье гораздо выше, чем 1:73 000 000, скажем, 1:10 000, все равно такая цифра может иметь двоякое значение, как мы увидим.

Прокурорская ошибка

Реальный вопрос в этом деле — а что нам делать с этой сомнительной цифрой? Многие газеты в то время писали, что 1: 73 000 000 — это шанс того, что смерти детей Салли Кларк были случайными, то есть шанс того, что она невиновна. Многие в суде разделяли эту точку зрения, и факты, конечно, засели в сознании. Но это пример неправильного рассуждения, известный как «прокурорская ошибка», который довольно хорошо задокументирован.

Два младенца в одной семье умерли. Это сам по себе очень редкий случай. Если это произошло, суд должен рассмотреть два возможных объяснения: двойная внезапная младенческая смерть или двойное убийство. В нормальных обстоятельствах — до того как умерли дети — можно считать, что двойная младенческая смерть чрезвычайно маловероятна, но так же маловероятно и двойное убийство. Но после того как это случилось, оба объяснения — двойная внезапная младенческая смерть и двойное убийство — становятся гораздо более вероятными. Если мы хотим привлечь статистику, следует выяснить, какое из этих событий более редкое. Люди попытались подсчитать относительный риск этих двух событий, и в одной газете говорится, что он составляет 2:1 в пользу СВМС.

Этот решающий нюанс был не только ошибкой прокурора в то время — он был ошибкой всего суда; он также был упущен в апелляционном суде, на котором тем не менее было решено, что вместо 1:73 000 000 Рой Медоу должен был сказать «очень редко». Они признали и ошибку в вычислениях, и экологическую ошибку, «легкую проблему», о которой мы уже говорили, но они все же остались на его точке зрения, что двойная внезапная младенческая смерть — это чрезвычайно редкое событие.