Книга Искусственный интеллект. Этапы. Угрозы. Стратегии - Ник Бостром

В чуть более долгосрочной перспективе, по мере того как окажется задействованной все большая часть имеющихся на планете вычислительных мощностей, затраты на приобретение дополнительного оборудования могут начать расти. Например, в сценарии создания имитационной модели мозга в условиях конкуренции затраты на запуск одной дополнительной ее копии должны расти и стать примерно равными выручке, которую эта копия генерирует, поскольку цены на вычислительную инфраструктуру будут подниматься (хотя если эта технология окажется в распоряжении всего одного проекта, он обеспечит себе монопсонию и вследствие этого сможет платить меньше.)

В более долгосрочной перспективе предложение вычислительной мощности будет расти по мере установки все новых ПО в дополнительные компьютеры. Всплеск спроса стимулирует расширение существующих и создание новых производств микропроцессоров. (Разовый всплеск производительности на один-два порядка величины может случиться в результате использования кастомизированных процессоров[231].) Помимо этого, дополнительный вал вычислительной мощности хлынет на турбины мыслящих машин за счет постоянного усовершенствования технологий, темп которого будет только расти. Исторически он описывается знаменитым законом Мура, один из вариантов которого гласит, что вычислительная мощность в расчете на доллар удваивается каждые восемнадцать месяцев или около того[232]. И хотя никто не может поручиться, что эта скорость сохранится до момента создания ИИЧУ, пространство для совершенствования компьютерных технологий остается — фундаментальные физические пределы еще не достигнуты.

Поэтому есть все основания полагать, что сопротивляемость аппаратной среды не окажется слишком высокой. Приобретение дополнительной вычислительной мощности для системы, доказавшей право на существование тем, что она достигла человеческого интеллектуального уровня, может легко добавить мощности, имеющейся в распоряжении ее создателей, несколько дополнительных порядков величины (в зависимости от того, насколько прожорлив в этом смысле был проект изначально). Кастомизация процессоров добавит еще один-два порядка. На другие средства расширения аппаратной базы, такие как строительство новых заводов и усовершенствование вычислительных технологий, понадобится больше времени — обычно это занимает несколько лет, хотя в будущем срок может резко сократиться в результате революции, которую произведет сверхразум в области развития технологических и производственных процессов.

Подведем итоги. Мы можем говорить о вероятности образования «аппаратного навеса» — к тому моменту, когда будет создано программное обеспечение человеческого интеллектуального уровня, окажется доступно достаточно вычислительной мощности для запуска большого количества его копий на очень быстрых компьютерах. Сопротивляемость на уровне программного обеспечения, как уже было сказано выше, оценить сложнее, но, вполне вероятно, она может оказаться даже более низкой, чем сопротивляемость аппаратная. В частности, есть возможность образования «контентного навеса» в форме огромных объемов готовой к использованию информации (например, в интернете), которая станет доступна системе, как только она достигнет человеческого уровня развития. Вероятность «алгоритмического навеса» — проведенной заранее оптимизации алгоритмов — также существует, но гораздо более низкая. За счет совершенствования программного обеспечения (и алгоритмов, и контента) потенциальный рост производительности системы может составить несколько порядков величины, и добиться этого роста, после того как цифровой разум достигнет человеческого уровня, окажется довольно легко, причем он наложится на выигрыш в производительности, полученный за счет использования большего количества или более мощных аппаратных средств.

Сила оптимизации и взрывное развитие интеллекта

Изучив вопрос сопротивляемости, обратимся ко второй части нашего уравнения — силе оптимизации. Напомним:

Как видно из этой формулы, быстрый взлет не требует, чтобы сопротивляемость на фазе перехода была низкой. Быстрый взлет также может произойти на фоне неизменной или даже медленно растущей сопротивляемости, при условии, что сила оптимизации, приложенная к системе и повышающая ее производительность, растет довольно быстро. Мы увидим, что есть все основания считать: прилагаемая к системе сила оптимизации действительно будет расти на этапе перехода, по крайней мере в отсутствие явных мер, направленных против этого.

Здесь можно выделить две фазы. Первая фаза начинается с точки отрыва системы от уровня человеческого интеллекта. Поскольку ее возможности продолжают расти, она может использовать их часть или даже все возможности для самосовершенствования (или для создания системы-потомка, что неважно). Однако большая часть оптимизирующей силы будет приложена извне системы благодаря работе программистов и инженеров, как занятых в проекте, так и не имеющих к нему прямого отношения[233]. Если эта фаза растянется на долгое время, можно ожидать, что сила оптимизации, приложенная к системе, будет увеличиваться. Вклад в проект и команды, и участников извне станет расти, если выбранный подход покажет свою перспективность. Исследователи начнут работать усерднее, их количество вырастет, чтобы ускорить прогресс, начнут покупать больше компьютеров. Рост будет особенно быстрым, если создание ИИЧУ окажется для мира неожиданностью — в этом случае на изначально небольшом проекте будут сосредоточены усилия исследователей и разработчиков всего мира (хотя какая-то часть мировых усилий может быть направлена на реализацию конкурирующих проектов).

Вторая фаза роста начнется в тот момент, когда система аккумулирует такую мощность, что превратится в основной источник оптимизирующей силы по отношению к самой себе (на рис. 7 это отмечено как «критический рубеж, или точка перехода»). Это резко изменит динамику процесса, поскольку любые изменения возможностей системы теперь приводят к пропорциональному росту оптимизирующей силы, приложенной с целью ее дальнейшего совершенствования. Если сопротивляемость остается постоянной, начинается рост в геометрической прогрессии (см. врезку 4). Удвоение эффективности может происходить очень быстро — есть сценарии, где на это требуется всего нескольких секунд — если рост идет с электронными скоростями за счет использования алгоритмических усовершенствований или эксплуатации контентного или аппаратного навеса[234] Для роста, базой которого является физическая инфраструктура, скажем, создание новых компьютеров или производственных мощностей, потребуется несколько больше времени (и все-таки оно будет совсем незначительным, если брать во внимание текущие темпы роста мировой экономики).