Книга Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок

Экспертное политическое суждение

Этим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды — университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.

Первые вопросы, заданные экспертам, касались их самих. Возраст? (Средний — сорок три года.) Рабочий опыт в соответствующей области? (Средний — 12,2 года.) Образование? (Почти все прошли постдипломную подготовку, у половины — кандидатские степени.) Также их спросили об идеологических воззрениях и предпочтительных подходах к решению политических проблем.

Вопросы для прогнозов задавали временны́е рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. На такие темы обычно рассуждают эксперты в СМИ и коридорах власти. Это означало, что нашим экспертам иногда попадались вопросы по их специализации, но чаще — нет, что позволило сравнивать точность прогнозов настоящих профессионалов и умных и хорошо информированных любителей. В общем и целом наши эксперты сделали примерно 28 тысяч предсказаний.

На задавание вопросов ушли годы. Затем потянулось ожидание — испытание терпения даже для людей со стажем. Я начал эксперимент, когда Михаил Горбачев и советское Политбюро были ключевыми игроками, вершащими судьбы мира. К тому моменту, когда началось оформление результатов, СССР существовал только на исторических картах, а Горбачев снимался в рекламе для «Пиццы Хат». Окончательные результаты появились в 2005-м — спустя 21 год, шесть президентских выборов и три войны после того, как я поучаствовал в комиссии Национального совета по исследованиям, заставившей меня задуматься о прогнозировании. Я опубликовал результаты в академическом трактате «Экспертное политическое суждение (Expert Political Judgment): насколько оно хорошо? Откуда мы можем это узнать?». В целях упрощения я буду называть всю эту исследовательскую программу аббревиатурой EPJ.

И результаты…

Если перед тем, как открыть эту книгу, вы не знали комических результатов EPJ, то сейчас они вам уже известны: среднестатистический эксперт оказался точен примерно как шимпанзе, играющий в дартс. Но, как предупреждают студентов на вводных уроках статистики, средние показатели могут вводить в заблуждение. Отсюда старая шутка про статистиков, которые спят, сунув ноги в духовку, а голову в морозилку из-за комфортности средней температуры.

По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания, а в долгосрочных прогнозах умудрилась проиграть даже шимпанзе. Вторая группа обошла шимпанзе, хоть и не с разгромным счетом, так что особых поводов для гордости у них тоже не было. На самом деле они всего лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся.

Так почему же одна группа выступила лучше другой? Дело было не в ученых степенях и не в доступе к секретной информации. Дело было и не в том, что они думали: были ли они либералами или консерваторами, оптимистами или пессимистами. Основным фактором было то, как они думали.

Одна группа имела свойство опираться на Большие Идеи, хотя они и не сходились во мнениях по поводу того, какие из Больших Идей правдивы, а какие ложны. Одни хоронили человечество вместе с окружающей средой («У нас заканчиваются все ресурсы!»), другие праздновали наступление эры изобилия («Мы всему можем найти малозатратные заменители!»). Некоторые были социалистами (предпочитавшими государственный контроль над стратегически важными направлениями экономики), другие — фундаменталистами свободного рынка (сторонниками минимальной регуляции). Какими бы ни были их идеологические отличия, объединяла всех экспертов крайняя идеологизированность мышления. Они пытались уместить комплексные проблемы в облюбованные ими причинно-следственные шаблоны, а все, что не помещалось, отбрасывали как помехи, не имеющие отношения к делу. Категорически не приемля неопределенность, они толкали свои аналитические выкладки к границе (а иногда и выталкивали за нее), используя термины вроде «кроме этого» и «более того» и складывая одну на другую причины, по которым они должны быть непременно правы, а остальные — ошибаться. В результате эксперты были необычайно уверены в себе и имели большую склонность объявлять вещи «невозможными» или «непременными». Даже после того как их предсказания со всей ясностью не сбывались, они, сроднившись со своими выводами, с большой неохотой меняли мнение, говоря при этом: «Вы еще подождите!»

Другая группа состояла из более прагматичных экспертов, которые пользовались множеством аналитических инструментов, выбор которых зависел от конкретной проблемы, с которой они сталкивались. Эти эксперты собирали как можно больше информации из как можно большего количества источников. При обдумывании проблемы они часто переключали мыслительные механизмы, пересыпая свою речь такими переходными знаками, как «однако», «но», «хотя» и «с другой стороны». Они говорили не об уверенности, а о возможностях и вероятностях. И хотя никто не любит объявлять: «Я был не прав», эти эксперты с большей готовностью признавали свои ошибки и меняли мнения.

Несколько десятилетий назад философ Исайя Берлин написал прославленное, но мало кем читаемое эссе, в котором сравнил стили мышления великих авторов разных эпох. Чтобы оформить свои наблюдения, он воспользовался отрывком из древнегреческого стихотворения, которое около 2500 лет назад предположительно написал поэт-воин Архилох: «Лиса знает много разного, а еж — одно, но важное». Никто никогда не узнает, на чьей стороне был Архилох — лис или ежей, но Берлину больше нравились лисы. Я не чувствую потребности принять чью-то сторону, мне просто понравилась метафора, потому что она ухватывает суть собранной мной информации. Поэтому я назвал экспертов Больших Идей ежами, а более «эклектичных» — лисами.

Лисы превзошли ежей. И превзошли не только благодаря трусливому поведению — играя осторожно и делая прогнозы с 60 или 70 % вероятности, в то время как ежи смело ставили на 90 или 100 %. Лисы превзошли ежей и в калибровке, и в разрешении. У лис был дар предвидения. У ежей — нет.