Книга Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок

Исследования подобного масштаба стоят много миллионов долларов в год. Но не это делало инициативу IARPA такой дерзкой по бюрократическим меркам. В конце концов, ежегодный бюджет разведывательного сообщества около 50 миллиардов долларов — это больше, чем ежегодный ВВП большинства стран. Рядом с такой горой денег стоимость турнира IARPA выглядела скромным муравейником. Нет, дерзость крылась в том, что проект мог выявить.

Вот одно из возможных открытий: представьте себе, что вы собрали пару сотен обычных людей для предсказания геополитических событий. Вы видите, как часто они редактируют свои прогнозы и какова точность этих прогнозов, и используете эту информацию, чтобы отобрать около сорока лучших. Затем вы просите всех делать много прогнозов. На этот раз рассчитываете общий прогноз группы — «мудрость толпы», — но с дополнительной нагрузкой, данной сорока лучшим прогнозистам. Затем вы вносите в прогноз окончательную поправку — «экстремизируете» его, то есть сдвигаете ближе к 100 или к 0 %. Если в прогнозе указывается 70 % вероятности, вы можете повысить процент, скажем, до 85. Если 30 % — уменьшить до 15[71].

А теперь представьте, что прогнозы, которые вы делаете таким образом, обходят по точности прогнозы остальных групп и все доступные методы, зачастую с большим отрывом. Ваши прогнозы превосходят даже те, которые выдают профессиональные разведывательные аналитики, имеющие доступ к секретной информации, — с отрывом, который тоже секретен.

Подумайте, каким шоком для профессионалов разведки, которые всю свою жизнь занимаются предсказанием геополитических событий, могло бы стать поражение, нанесенное несколькими сотнями обычных людей и небольшим количеством простых алгоритмов.

И это действительно произошло. Я описал метод, который мы использовали, чтобы победить в турнире IARPA. В этом методе нет ничего ослепительно инновационного. Даже прием экстремизации основан на довольно-таки простом принципе: когда комбинируются суждения большой группы людей, чтобы рассчитать «мудрость толпы», собирается вся полезная информация, распределенная между всеми этими людьми. Но никто из них не имеет доступа ко всей информации. Один человек знает часть, другой знает еще немного и т. д. Что случится, если этим людям дать всю информацию? Они станут более уверенными — и изменят вероятность своих прогнозов ближе к 100 или 0 %. И если вы тогда рассчитаете «мудрость толпы», она тоже станет более экстремальной. Конечно, невозможно дать каждому человеку всю информацию, поэтому мы экстремизируем, симулируя то, что случилось бы, если бы мы это сделали.

Благодаря IARPA мы теперь знаем, что несколько сотен обычных людей и обычная математика могут не просто соревноваться с профессионалами, находящимися на службе многомиллиардной организации, но и превосходить их[72].

И это только одно из тревожных открытий, которое спровоцировала IARPA, решив провести турнир. А что, если бы турнир выявил существование обычных людей, которые могут и безо всякой магии алгоритмов обходить РС? Представьте, какая бы это была угроза.

Даг Лорч, седобородый лысеющий очкарик, на вид совершенно не представляет угрозы. Он выглядит как программист — и он действительно был программистом в IBM. Сейчас он на пенсии. Живет в тихом районе Санта-Барбары с женой-художницей, которая пишет чудесные акварели. Его аватарка в «Фейсбуке» — уточка. Даг любит кататься на своем маленьком красном кабриолете Miata по солнечным улицам, наслаждаясь калифорнийским ветерком, но целыми днями этим заниматься не будешь. У него нет специальных знаний в международных отношениях, но есть здоровое любопытство по поводу того, что происходит в мире. Он читает New York Times и может найти на карте Казахстан, так что он вызвался участвовать в проекте «Здравое суждение». Раз в день, примерно на час, его столовая превращается в центр прогнозирования. Он открывает свой ноутбук, читает новости и пытается предугадать судьбы мира. В первый год Даг ответил на 104 вопроса из серии «Дадут ли Сербии официальный титул кандидата на вступление в ЕС к 31 декабря 2001 года?» и «Превысит ли твердая цена золота на Лондонском рынке (в US долларах за унцию) 1850$ к сентябрю 2011 года?».

Это крупный объем прогнозирования, но на самом деле Даг делал гораздо больше. В исследовании EPJ я просил экспертов выдать только один прогноз на каждый вопрос и позже оценивал результат. Однако в турнире IARPA прогнозисты могли уточнять свои прогнозы в режиме реального времени. То есть если прогнозистке впервые поступал вопрос с временным лимитом на полгода в будущее, она могла сделать изначальный прогноз, что событие, допустим, произойдет за эти шесть месяцев с вероятностью 60 %. Но на следующий день в новостях она могла услышать что-то, что убеждало ее изменить вероятность на 75 %. С целью подсчета баллов эти прогнозы позже засчитывались за отдельные. Если за неделю не происходило ничего, что могло бы заставить прогнозистку поменять мнение, прогноз оставался на 75 % в течение этих семи дней. Затем она могла узнать новую информацию, которая заставила бы ее снизить вероятность до 70 % — и прогноз оставался на этой позиции до следующего изменения. Такой процесс продолжался в течение всего полугода, пока вопрос не закрывался. В этот момент все ее прогнозы складывались, подсчитывались — и выводился результат Брайера для данного вопроса. И это только один вопрос, а за четыре года было задано почти 500 вопросов на тему международных отношений, и тысячи прогнозистов — участников GJP произвели значительно более одного миллиона прогнозов на будущее. Но даже на индивидуальном уровне числа складывались очень быстро. Только за первый год Даг Лорч сделал примерно тысячу отдельных прогнозов. Точность Дага была такой же впечатляющей, как объем работы. К концу первого года общий результат Брайера у Дага был 0,22, что позволило ему занять пятое место среди 2800 участников проекта «Здравое суждение». Напоминаю, что результат Брайера измеряет разницу между прогнозами и реальностью, где 2,0 означает, что ваши прогнозы — полная противоположность реальности, 0,5 — то, что получается при произвольном угадывании, и 0 — идеальная меткость. Так что 0,22 — это для начала впечатляющий результат, учитывая сложность вопросов. Взять, к примеру, такой, заданный 9 января 2011 года: «Произойдет ли в Италии реструктуризация или дефолт к 31 декабря 2011 года?» Сейчас мы знаем, что правильный ответ на этот вопрос — нет. Чтобы получить 0,22, среднестатистический прогноз Дага на этот вопрос в течение всех одиннадцати месяцев должен был быть «нет с примерно 68 % вероятности» — очень неплохо, учитывая волны финансовой паники, которые захлестывали еврозону в этот период. И Даг должен был быть столь же точным в среднем по всем остальным вопросам.