Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

и больше решений компьютерам, оно подрывает жизнеспособность демократических механизмов самокоррекции, а также демократической прозрачности и подотчетности. Как выборные должностные лица могут регулировать непостижимые алгоритмы? В связи с этим растет потребность в закреплении нового права человека - права на объяснение. Вступившее в силу в 2018 году Общее положение Европейского союза о защите данных (GDPR) гласит, что если алгоритм принимает решение в отношении человека - например, отказывает нам в кредите, - то человек имеет право получить объяснение этого решения и оспорить его перед каким-либо человеческим органом. В идеале это должно сдерживать предвзятость алгоритмов и позволить демократическим механизмам самокоррекции выявить и исправить хотя бы некоторые из наиболее грубых ошибок компьютеров.

Но может ли это право быть реализовано на практике? Мустафа Сулейман - мировой эксперт в этой области. Он является соучредителем и бывшим главой DeepMind, одной из самых значимых компаний в мире ИИ, ответственной за разработку программы AlphaGo, среди прочих достижений. AlphaGo была создана для игры в го - стратегическую настольную игру, в которой два игрока пытаются победить друг друга, окружая и захватывая территорию. Изобретенная в Древнем Китае, эта игра гораздо сложнее шахмат. Поэтому даже после того, как компьютеры победили человеческих чемпионов мира по шахматам, эксперты все еще считали, что компьютеры никогда не превзойдут человечество в го.

Именно поэтому и профессионалы го, и компьютерные эксперты были ошеломлены в марте 2016 года, когда AlphaGo победил чемпиона Южной Кореи по го Ли Седоля. В своей книге 2023 года "Грядущая волна" Сулейман описывает один из самых важных моментов их матча - момент, который дал новое определение ИИ и который во многих научных и правительственных кругах признан важнейшим поворотным пунктом в истории. Это произошло во время второй партии матча, 10 марта 2016 года.

"Затем... последовал ход № 37", - пишет Сулейман. "Это было бессмысленно. AlphaGo, очевидно, провалил дело, слепо следуя очевидно проигрышной стратегии, которую ни один профессиональный игрок никогда бы не применил. Комментаторы матча, оба профессионала высочайшего класса, сказали, что это "очень странный ход", и решили, что это "ошибка". Это было настолько необычно, что Седолю потребовалось пятнадцать минут, чтобы ответить, и он даже встал из-за доски, чтобы прогуляться на улицу. Мы наблюдали за происходящим из нашей комнаты управления, и напряжение было нереальным. И все же по мере приближения эндшпиля этот "ошибочный" ход оказался решающим. AlphaGo снова выиграла. Стратегия игры в го переписывалась на наших глазах. Наш ИИ обнаружил идеи, которые не приходили в голову самым гениальным игрокам на протяжении тысячелетий".

Move 37 - это эмблема революции ИИ по двум причинам. Во-первых, он продемонстрировал инопланетную природу ИИ. В Восточной Азии го считается гораздо большим, чем просто игрой: это ценнейшая культурная традиция. Наряду с каллиграфией, живописью и музыкой, го было одним из четырех искусств, которые должен был знать каждый утонченный человек. На протяжении более чем двадцати пяти сотен лет в го играли десятки миллионов людей, а вокруг игры сформировались целые школы, отстаивающие различные стратегии и философии. Однако за все эти тысячелетия человеческие умы исследовали лишь некоторые области го. Другие области оставались нетронутыми, потому что человеческие умы просто не думали туда соваться. ИИ, будучи свободным от ограничений человеческого разума, обнаружил и исследовал эти ранее скрытые области.

Во-вторых, ход 37 продемонстрировал непостижимость ИИ. Даже после того, как AlphaGo сыграл его и добился победы, Сулейман и его команда не смогли объяснить, как AlphaGo решил сыграть его. Даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы выполнить этот приказ. Сулейман пишет: "Перед нами, людьми, стоит новая задача: будут ли новые изобретения недоступны нашему пониманию? Раньше создатели могли объяснить, как что-то работает, почему оно делает то, что делает, даже если это требовало огромного количества деталей. Сейчас это все чаще перестает быть правдой. Многие технологии и системы становятся настолько сложными, что не под силу ни одному человеку по-настоящему понять их.... В области искусственного интеллекта нейронные сети, движущиеся к автономности, в настоящее время не поддаются объяснению. Вы не можете провести человека через процесс принятия решений, чтобы объяснить, почему алгоритм выдал конкретное предсказание. Инженеры не могут заглянуть под капот и легко объяснить в деталях, что привело к тому или иному событию. GPT-4, AlphaGo и все остальные - это "черные ящики", их результаты и решения основаны на непрозрачных и невозможно сложных цепочках мельчайших сигналов".

Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в "черном ящике", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?

Растущая непостижимость нашей информационной сети - одна из причин недавней волны популистских партий и харизматических лидеров. Когда люди больше не могут разобраться в мире, когда они чувствуют себя перегруженными огромным количеством информации, которую они не могут переварить, они становятся легкой добычей для теорий заговора и обращаются за спасением к тому, что они действительно понимают, - к человеку. К сожалению, хотя харизматичные лидеры, безусловно, имеют свои преимущества, ни один человек, каким бы вдохновляющим или гениальным он ни был, не сможет в одиночку расшифровать алгоритмы, которые все больше и больше доминируют в мире, и обеспечить их справедливость. Проблема в том, что алгоритмы принимают решения, опираясь на множество точек данных, в то время как человеку очень сложно сознательно обдумать большое количество точек данных и взвесить их друг с