Книга Ловушки разума и Ловцы душ. Убеждения, меняющие нашу жизнь или Что заставляет нас купить дырку от бу - Александр Невеев

Допустим, через месяц мы получили следующие данные.

Что же мы видим?

Мы видим, что наши изначальные представления о том, что лекарство от легковерия очень эффективно («целых 90 % испытуемых избавились от легковерия!»), оказались ложными, поскольку и без всякого лекарства 90 % испытуемых избавляются от легковерия.

Итак, чтобы сделать вывод о том, помогает ли лекарство от легковерия, необходимо рассмотреть не только ситуацию «выпил лекарство – избавился от легковерия», но и ситуации «выпил лекарство – не избавился от легковерия» и «не выпил лекарство, а от легковерия избавился».

Кстати, таблица, с которой мы работали все это время, настолько важна для дальнейшего изложения, что будем называть ее волшебной.

Волшебная таблица необходима всегда, когда речь заходит об определении действенности того или иного метода, лекарства и вообще отделении случайного от закономерного.

Но и это еще не все. Мы кое о чем забыли.

Верно, когда много

Когда я учился в школе, в кабинете математики у нас висел среди прочих небольшой плакат, на котором было написано:

«Статистика. Верно, когда много».

И это очень правильная максима. Действительно, если мы имеем дело с неким явлением, для установления которого единичного эксперимента мало, то очень важно рассмотреть достаточно много случаев, когда это явление может проявиться.

Возвращаясь к нашей проверке лекарства от легковерия, важно учитывать, что заполнить волшебную таблицу недостаточно: полученные нами данные (10 %, 90 %) мало что значат сами по себе, а правомерные выводы из них можно делать, только если эти проценты получены от довольно большого количества испытуемых, или, говоря научным языком, из довольно большой выборки.

Представьте, что перед вами мешок с шарами. Вам сообщили, что в мешке лежит 100 шаров, и попросили, не глядя в мешок, но вытаскивая из него шары, определить, какого цвета шары, лежащие в мешке.

Вы вытаскиваете из мешка пять шаров. Все они оказываются черными. Можете ли вы сделать вывод, что все шары в мешке черные?

Наверное, нет.

Хорошо, вы вытаскиваете десять шаров. Все они черные.

Является ли теперь вывод «Все шары в мешке черные» полностью обоснованным?

Чтобы ответить на этот вопрос, давайте конкретизируем ситуацию. Предположим, что в мешке всего десять шаров черные, а остальные 90 – белые. Возможна ли ситуация, когда, вытянув только десять шаров, мы вытянем лишь черные шары?

Конечно, возможна. Поэтому так важно делать статистический вывод. А именно с такого рода выводами мы имеем дело, когда пытаемся выяснить, эффективно ли лекарство, может ли человек, называющий себя предсказателем, на самом деле видеть будущее или помогает ли экстрасенс, если основываемся только на достаточно большом количестве случаев.

Возвращаясь к нашему примеру с мешком, выясним, сколько следует вытянуть шаров, чтобы гарантированно (именно гарантированно) убедиться, что шары в мешке не только черные.

Правильно, нужно вытянуть минимум 11 шаров.

Конечно, в реальной жизни все не так просто, мы не знаем, какие шары в мешке и сколько их, но общий принцип остается тем же: чем больше количество случаев, на основе которых мы делаем вывод, тем лучше.

А теперь вернемся к проверке эффективности лекарств. Допустим, мы проверяли лекарство от легковерия на группе из десяти человек. Предположим, оно помогло только одному из них. Что мы получаем?

Как мы уже знаем, это означает, что лекарство неэффективно. Правильно? Нет, неправильно! Слишком мало человек было в нашей экспериментальной группе.

Допустим теперь, что мы возьмем не десять человек, а 100. В этом случае вполне могло получиться, что лекарство помогло бы уже не одному человеку, а, например, 50. Согласитесь, это совсем другой показатель эффективности.

Более того, возможно, если бы мы проверяли лекарство на группе из 1000 человек, то лекарство помогло бы уже 900 людям, и это тоже уже принципиально иная ситуация.

Но, разумеется, с ростом размера группы, на которой мы проверяем лекарство, возможно и изменение ситуации в противоположную сторону.

Допустим, мы получили показатель эффективности лекарства 90 % в группе из десяти человек, то есть это лекарство «помогло». Но если мы увеличим размер группы до 100 человек, то показатель эффективности, возможно, будет составлять уже лишь 50 %. Ну а в группе из 1000 человек эффективность лекарства упала бы, скажем, до 10 %, то есть это лекарство стоило бы признать неэффективным.

Итак, чем больше человек в группе, на которой мы проверяем лекарство, тем точнее результаты этой проверки, тем большее доверие вызывают эти результаты, а 90 % из десяти человек – это совсем не то же самое, что 90 % из 1000 человек.

И вот вам простейшее задание на закрепление этого очень важного материала.

Будете ли вы верить следующему рекламному объявлению:

«90 % стоматологов рекомендуют пасту“ КуллДейт”»,

если всего опрошено десять стоматологов?

Конечно, доверять подобному рекламному объявлению, мягко говоря, не стоит. А всякий раз, как вам говорят о процентах, необходимо уточнять, из каких чисел получены эти проценты. Повторю, что 10 % от десяти – это совсем не то же самое, что 10 % от 1000.

Необходимо подчеркнуть, что в реальной жизни, когда, например, нам нужно оценить эффективность какого-нибудь чудодейственного средства, широко рекламируемого по ТВ, мы просто не имеем доступа к такому количеству случаев применения этого лекарства, на котором можно делать заслуживающие доверия выводы…