Книга Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность - Филип Тетлок

Глаз стрекозы

В 1906 году легендарный британский ученый сэр Фрэнсис Гальтон отправился на деревенскую ярмарку и понаблюдал, как люди по виду живого быка угадывали, какой у него будет вес после того, как его «забьют и освежуют». Их средний вариант — то есть коллективное суждение — был 1197 фунтов: на один фунт меньше, чем оказалось в действительности — 1198 фунтов. Это была самая ранняя демонстрация феномена, популяризованного в бестселлере Джеймса Шуровьески «Мудрость толпы». Сам феномен теперь носит такое же название. Агрегация суждений многих людей по точности постоянно превышает точность суждения среднестатистического члена группы и зачастую оказывается такой же невероятно «предсказательной», как в случае с определением веса быка. Однако коллективное суждение не всегда более точно, чем индивидуальные предположения. На самом деле в любой группе, скорее всего, окажутся отдельные люди, которые выдадут лучший результат, чем группа в целом. Правда, эти предположения «в яблочко» больше говорят об удаче — ведь и шимпанзе, который много играет в дартс, иногда попадает точно в цель, — чем об искусстве угадывающего. Это становится очевидным, когда угадывание делается много раз. При каждом повторении проявятся отдельные личности, угадавшие более точно, чем вся группа, но каждый раз это будут разные личности. Для того чтобы постоянно превосходить средний результат, нужен редкий дар.

Некоторые называют мудрость толпы чудом агрегации, но это явление легко избавить от мистического налета. Главное — понять, что полезная информация часто широко распространяется, и там, где у одного человека имеется ее обрывок, другой обладает более важным кусочком, третий — еще несколькими и т. д. Когда Гальтон смотрел, как люди угадывают вес обреченного быка, он наблюдал за тем, как они ретранслируют имеющуюся у них информацию в цифры. Мясник, смотревший на быка, передал информацию, имевшуюся у него благодаря тренировке и опыту. Человек, регулярно покупавший в лавке мясо, добавил свою информацию. То же самое сделал и человек, который помнил, сколько весил бык на прошлогодней ярмарке. Таким образом все и сложилось. Сотни людей вложили полезные данные и вместе создали фонд информации гораздо более ценной, чем обладал каждый из них. Конечно, вместе с тем они также поделились мифами и ошибками — и тем самым создали фонд неверной информации, такой же большой, как первый. Но между этими фондами большая разница. Вся ценная информация указывала в одном направлении, на вес 1198 фунтов, а ошибки имели разные источники и указывали в разных направлениях. Кто-то предположил результат выше правильного, кто-то — ниже. Таким образом, ошибки перечеркнули друг друга. Накопление ценной информации и обнуление ошибок дали итоговый результат, оказавшийся потрясающе точным.

Эффективность агрегации прогнозов зависит от того, что именно вы объединяете. Агрегация суждений множества людей, которые не знают ничего, произведет большое количество ничего. Агрегация суждений людей, которые знают немногое, — уже лучше, и если их наберется достаточное количество, она может добиться впечатляющих результатов. Однако агрегация суждений того же количества людей, которые знают многое о многих разных вещах, более эффективна, потому что общий фонд информации становится намного больше. Агрегация агрегаций тоже может продемонстрировать впечатляющие результаты. Хорошо проведенный опрос общественного мнения агрегирует множество информации о намерениях избирателей, однако агрегация опросов в «опрос опросов» собирает множество информационных фондов в один большой фонд. Это и есть суть того, что делали Нейт Сильвер, Сэм Вонг и другие статистики во время президентских выборов 2012 года. Такой опрос опросов может быть объединен с другими источниками информации, например в нечто вроде Polly Vote — проекта академического консорциума, который предсказывает результаты президентских выборов, агрегируя различные источники, включая опросы избирателей, суждения политических экспертов и разработанные политологами количественные методы. Проект работает с 1990-х и имеет хороший послужной список, часто придерживаясь кандидатуры, которая впоследствии становится победителем, даже если результаты опросов изменились, а эксперты передумали.

А теперь посмотрим, как подходят к прогнозированию лисы. Они используют не одну аналитическую идею, а множество, и ищут информацию не в одном источнике, а во многих. Все это они затем синтезируют в один вывод. Другими словами, лисы совершают агрегацию. Они могут быть индивидуалами-одиночками, но делают, в сущности, то же, что делала толпа Гальтона: интегрируют разные ракурсы и содержащуюся в них информацию. Единственное реальное отличие в том, что этот процесс происходит в одном черепе. Однако производить такого рода агрегацию внутри своей головы может быть совсем не просто. Представьте себе игру «Угадай число», в которой игроки должны угадать число от 0 до 100. Человек, чей вариант подходит ближе всего к двум третьим среднестатистического варианта всех участников, выигрывает. И представьте, что за это дается приз: читатель, который подойдет ближе всего к правильному ответу, выигрывает два билета бизнес-класса на рейс Лондон — Нью-Йорк.

Газета Financial Times на самом деле провела этот конкурс в 1997 году по инициативе Ричарда Талера, пионера бихевиоральной экономики. Если бы я читал Financial Times в 1997 году, как бы я выиграл эти билеты? Я мог бы начать с размышления о том, что, раз можно называть число от 0 до 100, варианты будут распределены произвольно. Итого средним числом должно оказаться 50. А 2/3 от 50–33. Значит, моим предположением должно быть 33. В этот момент чувствую себя очень довольным и уверенным, что догадался правильно. Но прежде чем я скажу: «Это окончательный ответ», я делаю паузу и думаю о других участниках — и тут до меня доходит, что они должны были пройти через тот же мыслительный процесс, что и я. А это означает, что они все пришли к числу 33. А 2/3 от 33–22. Итого мой первый вывод неверен, и я должен предположить 22.

Вот теперь я чувствую себя на самом деле очень умным. Но погодите-ка! Ведь другие участники тоже должны были подумать о других участниках, как и я! А это означает, что они все должны были предположить 22. То есть средний вариант на самом деле 22. А 2/3 от 22 — около 15. Значит… Видите, куда все идет? Из-за того, что участники знают друг о друге — и каждому из них известно, что о нем знают другие, — число должно уменьшаться и уменьшаться до точки, из которой оно уже не может уменьшиться. И эта точка — 0. Вот мой окончательный ответ. И я уверен, что выиграю. Ведь у меня железная логика. А еще я вхожу в число хорошо образованных людей, которые знакомы с теорией игр, так что знаю, что ноль называют решением равновесия Нэша. Ч. Т. Д. Единственный вопрос заключается в том, кто полетит со мной в Лондон.

И знаете что? Я ошибся. В конкурсе, который состоялся на самом деле, многие люди пришли к такому же результату, но 0 не был правильным ответом. Этот ответ даже не приближался к правильному. Средним вариантом всех участников стало число 18,91, поэтому правильным ответом было 13. Как же я мог так ошибиться? Дело было не в логике — она не дала никаких сбоев. Я ошибся потому, что посмотрел на проблему только с одного ракурса — ракурса логики. Как насчет других участников? Все ли они из тех, кто внимательно все обдумает, найдет логику и последовательно пройдет по ней до окончательного ответа 0? Если бы они были полностью рациональными жителями планеты Вулкан из сериала «Звездный путь», так бы оно и было. Но они люди. Возможно, нам следует предположить, что читатели Financial Times немного умнее среднестатистической публики и лучше отгадывают загадки, но они все не могут быть безупречно рациональными. Безусловно, некоторые из них не дадут себе труда задуматься над тем, что другие участники решают ту же задачу, и остановятся на окончательном варианте 33. Возможно, другие заметят здесь логику и пойдут дальше, до 22, но на этом остановятся. И именно это случилось: 33 и 22 были популярными ответами. И из-за того, что я не обдумал проблему с разных ракурсов и не включил их в свое суждение, я ошибся. Следовало посмотреть на проблему с обоих ракурсов — как логики, так и психологии — и объединить то, что я увижу. При такой агрегации необязательно должны быть только два ракурса. В игре Талера «Угадай число» мы легко можем представить себе третий ракурс и использовать его, чтобы улучшить результат. Первый ракурс — ракурс рационального вулканца. Второй — ракурс человека, тоже иногда включающего логику, но слегка ленивого. А третий — тех участников, которые определили первые два ракурса и объединили их, чтобы сделать свое предположение. В оригинальном телесериале «Звездный путь» безупречно логичным вулканцем был мистер Спок, импульсивным человеком — доктор Маккой, а капитан Кирк представлял собой синтез их обоих. Так что третий ракурс мы назовем ракурсом капитана Кирка. Если среди участников окажется всего несколько капитанов Кирков, на математику это сильно не повлияет, но если их будет больше, то изощренное мышление таких людей может прилично изменить результат — и наш собственный результат улучшится, по крайней мере немного, если мы примем во внимание этот третий ракурс и включим его в наше суждение. Это будет непросто. Расчеты становятся сложными, и при определении окончательного результата — 10, 11, 12? — потребуется исключительная скрупулезность. Но иногда в этих тонких различиях и заключается разница между хорошим и великим, как мы увидим позже, когда познакомимся с суперпрогнозистами. И нет никаких причин останавливаться на трех или четырех ракурсах, хотя в игре «Угадай число» дальше заходить непрактично. В других же контекстах четвертый, пятый и шестой ракурс могут сделать суждение еще более точным. В теории количество ракурсов безгранично. Поэтому лучшая метафора для этого процесса — зрение стрекозы.