Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

начале, компьютеры могут увековечить и усилить его.

Но избавиться от предвзятости алгоритмов может быть так же сложно, как и от предвзятости людей. После обучения алгоритма требуется много времени и усилий, чтобы "отучить" его. Мы можем решить просто выбросить предвзятый алгоритм и обучить совершенно новый алгоритм на новом наборе менее предвзятых данных. Но где мы найдем набор абсолютно беспристрастных данных?

Многие алгоритмические предубеждения, рассмотренные в этой и предыдущих главах, имеют одну и ту же фундаментальную проблему: компьютер думает, что открыл какую-то истину о людях, а на самом деле он навязывает им порядок. Алгоритм социальных сетей думает, что обнаружил, что людям нравится возмущение, а на самом деле это сам алгоритм обусловил людей производить и потреблять больше возмущения. Такие предубеждения возникают, с одной стороны, из-за того, что компьютеры не учитывают весь спектр человеческих способностей, а с другой - из-за того, что компьютеры не учитывают свои собственные возможности влиять на людей. Даже если компьютеры наблюдают, что почти все люди ведут себя определенным образом, это не значит, что люди обязательно будут вести себя так же. Возможно, это просто означает, что компьютеры сами поощряют такое поведение, наказывая и блокируя альтернативные варианты. Чтобы компьютеры могли более точно и ответственно смотреть на мир, они должны учитывать свою силу и влияние. А чтобы это произошло, люди, которые в настоящее время разрабатывают компьютеры, должны признать, что они не создают новые инструменты. Они высвобождают новые виды независимых агентов и, возможно, даже новые виды богов.

 

НОВЫЕ БОГИ?

В книге "Бог, человек, животное, машина" философ Меган О'Гиблин показывает, что на наше понимание компьютеров сильно влияют традиционные мифологии. В частности, она подчеркивает сходство между всеведущим и непостижимым богом иудео-христианской теологии и современными ИИ, чьи решения кажутся нам одновременно непогрешимыми и непостижимыми. Это может представлять для людей опасный соблазн.

В главе 4 мы увидели, что уже тысячи лет назад люди мечтали найти непогрешимую информационную технологию, которая защитила бы нас от человеческой коррупции и ошибок. Священные книги были дерзкой попыткой создать такую технологию, но она провалилась. Поскольку книга не могла толковать сама себя, необходимо было создать человеческий институт, который бы толковал священные слова и адаптировал их к меняющимся обстоятельствам. Разные люди по-разному интерпретировали священную книгу, тем самым открывая дверь для коррупции и ошибок. Но в отличие от священной книги, компьютеры могут адаптироваться к меняющимся обстоятельствам, а также интерпретировать свои решения и идеи за нас. В результате некоторые люди могут прийти к выводу, что поиски непогрешимой технологии наконец увенчались успехом и что мы должны относиться к компьютерам как к священной книге, которая может говорить с нами и толковать сама себя, не нуждаясь во вмешательстве человеческих институтов.

Это было бы чрезвычайно опасной авантюрой. Когда определенные интерпретации священных писаний время от времени приводили к таким бедствиям, как охота на ведьм и религиозные войны, люди всегда были способны изменить свои убеждения. Когда человеческое воображение вызывало воинственного и полного ненависти бога, у нас оставалась возможность избавиться от него и представить себе более терпимое божество. Но алгоритмы - независимые агенты, и они уже отбирают у нас власть. Если они приведут к катастрофе, простое изменение наших представлений о них не обязательно остановит их. И весьма вероятно, что если доверить компьютерам власть, они действительно приведут к катастрофе, ведь они ошибаются.

Когда мы говорим, что компьютеры ошибаются, это значит гораздо больше, чем то, что они иногда допускают фактическую ошибку или принимают неверное решение. Гораздо важнее, что, как и человеческая сеть до нее, компьютерная сеть может не найти правильного баланса между истиной и порядком. Создавая и навязывая нам мощные межкомпьютерные мифы, компьютерная сеть может вызвать исторические катаклизмы, которые превзойдут по масштабам европейские охоты на ведьм раннего нового времени или сталинскую коллективизацию.

Представьте себе сеть из миллиардов взаимодействующих компьютеров, которые накапливают огромное количество информации о мире. Преследуя различные цели, компьютеры, объединенные в сеть, разрабатывают общую модель мира, которая помогает им общаться и сотрудничать. Эта общая модель, вероятно, будет полна ошибок, вымыслов и пробелов, и будет скорее мифологией, чем правдивым описанием Вселенной. Один из примеров - система социальных кредитов, которая делит людей на фиктивные категории, определяемые не человеческими мотивами вроде расизма, а какой-то непостижимой компьютерной логикой. Мы можем сталкиваться с этой мифологией каждый день своей жизни, поскольку она будет определять многочисленные решения, принимаемые компьютерами в отношении нас. Но поскольку эта мифическая модель будет создана неорганическими существами, чтобы координировать действия с другими неорганическими существами, она не будет иметь ничего общего со старыми биологическими драмами и может быть совершенно чуждой нам68.

Как отмечалось в главе 2, масштабные общества не могут существовать без мифологии, но это не значит, что все мифологии одинаковы. Чтобы уберечься от ошибок и эксцессов, некоторые мифологии признали свое ошибочное происхождение и включили механизм самокоррекции, позволяющий людям подвергать мифологию сомнению и изменять ее. Такова, например, модель Конституции США. Но как люди могут исследовать и исправлять компьютерную мифологию, которую мы не понимаем?

Одно из потенциальных средств защиты - научить компьютеры осознавать собственную ошибочность. Как учил Сократ, умение сказать "я не знаю" - важный шаг на пути к мудрости. И это относится к компьютерной мудрости не меньше, чем к человеческой. Первый урок, который должен усвоить каждый алгоритм, - это то, что он может совершать ошибки. Детские алгоритмы должны научиться сомневаться в себе, сигнализировать о неопределенности и подчиняться принципу предосторожности. В этом нет ничего невозможного. Инженеры уже добились значительных успехов в том, чтобы побудить ИИ выражать сомнение в себе, просить обратной связи и признавать свои ошибки.

И все же, как бы алгоритмы ни осознавали свою ошибочность, мы должны держать в курсе и людей. Учитывая темпы развития ИИ, просто невозможно предугадать, как он будет развиваться, и поставить ограждения от всех будущих потенциальных опасностей. В этом заключается ключевое отличие ИИ от прежних экзистенциальных угроз, таких как ядерные технологии. Последние представляли человечеству несколько легко прогнозируемых сценариев конца света, наиболее очевидным из которых была тотальная ядерная война. Это означало, что можно было заранее осмыслить опасность и изучить способы ее смягчения. В отличие от этого, ИИ предлагает нам бесчисленное множество сценариев конца света. Некоторые из них относительно просты для понимания, например, использование террористами ИИ для создания биологического оружия массового поражения. Некоторые более сложны для понимания, например, создание ИИ нового психологического оружия массового поражения. А некоторые могут быть совершенно непостижимы для человеческого воображения, поскольку