Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

и убирает министра обороны, то становится марионеткой алгоритма. Если кто-то попытается сделать шаг против алгоритма, алгоритм точно знает, как манипулировать Великим Лидером. Обратите внимание, что алгоритм не обязательно должен быть сознательной сущностью, чтобы участвовать в таких маневрах. Как показывает мысленный эксперимент Бострома со скрепкой и как продемонстрировал в небольшом масштабе GPT-4, солгавший работнику TaskRabbit, бессознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея никаких человеческих побуждений, таких как жадность или эгоизм.

Если алгоритмы когда-нибудь разовьют способности, подобные тем, что описаны в мысленном эксперименте, диктатуры будут гораздо более уязвимы для алгоритмического захвата власти, чем демократии. Даже супермакиавеллистскому ИИ будет сложно захватить власть в распределенной демократической системе, такой как Соединенные Штаты. Даже если ИИ научится манипулировать президентом США, он может столкнуться с противодействием со стороны Конгресса, Верховного суда, губернаторов штатов, СМИ, крупных корпораций и различных неправительственных организаций. Как, например, алгоритм справится с филигранным голосованием в Сенате?

Захватить власть в высокоцентрализованной системе гораздо проще. Когда вся власть сосредоточена в руках одного человека, тот, кто контролирует доступ к автократу, может управлять им и всем государством. Чтобы взломать систему, нужно научиться манипулировать только одним человеком. Архетипичный пример - как римский император Тиберий стал марионеткой Луция Аэлия Сеянуса, командира преторианской гвардии.

Изначально преторианцы были созданы Августом как небольшая императорская телохранительница. Август назначил двух префектов командовать телохранителями, чтобы ни один из них не мог получить слишком большую власть над ним. Тиберий, однако, был не столь мудр. Его паранойя была его самой большой слабостью. Сеянус, один из двух преторианских префектов, искусно играл на страхах Тиберия. Он постоянно раскрывал предполагаемые заговоры с целью убийства Тиберия, многие из которых были чистейшей фантазией. Подозрительный император все больше не доверял всем, кроме Сеянуса. Он сделал Сеянуса единственным префектом преторианской гвардии, расширил ее до двенадцатитысячной армии и дал людям Сеянуса дополнительные функции по охране порядка и управлению городом Римом. Наконец, Сеянус убедил Тиберия переехать из столицы на Капри, аргументируя это тем, что на маленьком острове защищать императора будет гораздо проще, чем в переполненном людьми мегаполисе, где полно предателей и шпионов. На самом деле, объяснял римский историк Тацит, целью Сеянуса был контроль над всей информацией, поступающей к императору: "Доступ к императору должен был находиться под его контролем, и письма, по большей части передаваемые солдатами, должны были проходить через его руки".

Когда преторианцы контролировали Рим, Тиберий был изолирован на Капри, а Сеянус контролировал всю информацию, поступавшую к Тиберию, преторианский полководец стал настоящим правителем империи. Сеянус очищал всех, кто мог ему противостоять, включая членов императорской семьи, ложно обвиняя их в измене. Поскольку никто не мог связаться с императором без разрешения Сеянуса, Тиберий превратился в марионетку.

В конце концов кто-то - возможно, невестка Тиберия Антония - обнаружил брешь в информационном кордоне Сеянуса. Императору было тайно доставлено письмо, в котором он объяснил, что происходит. Но к тому времени, когда Тиберий осознал опасность и решил избавиться от Сеянуса, он был почти беспомощен. Как он мог свергнуть человека, который контролировал не только телохранителей, но и все коммуникации с внешним миром? Если бы он попытался что-то предпринять, Сеянус мог бы заточить его на Капри на неопределенный срок и сообщить сенату и армии, что император слишком болен, чтобы куда-то ехать.

Тем не менее Тиберию удалось переломить ход событий. По мере того как Сеянус рос в могуществе и был поглощен управлением империей, он потерял связь с повседневными мелочами, связанными с аппаратом безопасности Рима. Тиберию удалось тайно заручиться поддержкой Невия Сутория Макро, командира римской пожарной команды и ночной стражи. Макро организовал переворот против Сеяна, и в награду Тиберий сделал Макро новым командиром преторианской гвардии. Через несколько лет Макро убил Тиберия.

Власть находится в узле, где сливаются информационные каналы. Поскольку Тиберий позволил информационным каналам слиться в лице Сеянуса, тот стал истинным центром власти, а Тиберий превратился в марионетку.

Судьба Тиберия указывает на хрупкое равновесие, к которому должны стремиться все диктаторы. Они пытаются сосредоточить всю информацию в одном месте, но при этом должны следить за тем, чтобы различные информационные каналы сливались только в их собственной персоне. Если же информационные каналы сливаются в другом месте, то именно оно становится истинным узлом власти. Когда режим опирается на таких людей, как Седжанус и Макро, умелый диктатор может играть ими друг против друга, чтобы оставаться на вершине. Сталинские чистки были именно этим. Когда же режим опирается на мощный, но непостижимый ИИ, который собирает и анализирует всю информацию, диктатор-человек рискует потерять всю власть. Он может оставаться в столице, но при этом быть изолированным на цифровом острове, контролируемым и манипулируемым ИИ.

 

ДИЛЕММА ДИКТАТОРА

В ближайшие несколько лет диктаторы нашего мира столкнутся с более насущными проблемами, чем алгоритмический захват власти. Ни одна из существующих систем ИИ не способна манипулировать режимами в таких масштабах. Однако тоталитарные системы уже находятся в опасности, поскольку слишком доверяют алгоритмам. В то время как демократические государства предполагают, что все люди ошибаются, в тоталитарных режимах основополагающим является предположение, что правящая партия или верховный лидер всегда правы. Режимы, основанные на этом предположении, вынуждены верить в существование непогрешимого интеллекта и не желают создавать мощные самокорректирующиеся механизмы, которые могли бы контролировать и регулировать гения на самом верху.

До сих пор такие режимы возлагали свою веру на человеческие партии и лидеров и были рассадниками культов личности. Но в XXI веке эта тоталитарная традиция готовит их к ожиданию непогрешимости ИИ. Системы, способные поверить в безупречный гений Муссолини, Чаушеску или Хомейни, готовы поверить и в безупречный гений сверхразумного компьютера. Это может привести к катастрофическим последствиям для их граждан, а в перспективе и для всего остального мира. Что произойдет, если алгоритм, отвечающий за экологическую политику, допустит большую ошибку, а механизмов самокоррекции, способных выявить и исправить ее, не существует? Что произойдет, если алгоритм, управляющий государственной системой социального кредитования, начнет терроризировать не только население, но даже членов правящей партии и одновременно навешивать ярлык "враг народа" на всех, кто подвергает сомнению его политику?

Диктаторы всегда страдали от слабости механизмов самокоррекции и всегда подвергались угрозе со стороны могущественных подчиненных. Возникновение искусственного интеллекта может значительно усугубить эти проблемы. Таким образом, компьютерная сеть ставит диктаторов перед мучительной дилеммой. Они могут решить вырваться из лап своих подчиненных, доверившись якобы непогрешимой технологии, и в этом случае они могут стать ее марионеткой. Или же