Книга Формула Бога. Эволюция религии, культуры и этики в эпоху технологической сингулярности и бессмертия - Александр Плющенко

Процесс размещения нейронных сетей в компьютере называют глубоким обучением (Deep Learning). Эта технология приведет к значительным изменениям в человеческой жизни, а также поможет колонизации космоса. Самообучающиеся роботы на основе нейронных сетей смогут обучаться на собственном и накопленном в информационных базах данных опыте, пока не освоят распознавание образов, которое позволит им перемещать инструменты в трех измерениях, и не обретут здравый смысл, который поможет справляться с нестандартными ситуациями.

Следующий этап эволюции роботов и алгоритмов – это самовоспроизводящиеся структуры. Впервые идею самокопирующихся машин озвучил современник Дарвина Сэмюэл Батлер в статье «Дарвин среди машин», в которой высказал предположение, что когда-нибудь машины также научатся воспроизводить себя и начнут эволюционировать в согласии с теорией Дарвина. А Джон фон Нейман еще в 1940-е гг. пытался применить математический подход к самокопирующимся машинам: собрать набор строительных элементов, создать аппарат-сборщик, соединяющий эти элементы, и написать программу, регулирующую работу сборщика. Нейман пытался определить минимальное число операций, необходимое сборщику для создания собственной копии, но в итоге ученый отказался от этого проекта из-за большого количества произвольных параметров.

Мощный импульс к созданию самовоспроизводящихся роботов дало исследование НАСА «Продвинутая автоматика для космических задач» в 1980 г. Для строительства лунных поселений НАСА потребуются три типа роботов: шахтеры, строители и ремонтники. Исследовав лунный грунт, ученые выяснили, что по содержанию металлов, кремния и кислорода он почти идентичен земному: поверхность Луны покрыта реголитом, сочетающим основную породу, остатки лавовых потоков и обломков метеоритов. Однако после этого исследования в области самовоспроизводящихся роботов были приостановлены на несколько десятилетий.

Сейчас, на волне нового энтузиазма, проявляемого к освоению Луны и Марса, возобновились и работы по созданию подобных машин: достаточно построить один завод по производству самороботов, которые продолжат выпуск своих копий в любом необходимом количестве. Американский физик Митио Каку считает, что такие роботы «могли бы самостоятельно создать обширное сельскохозяйственное производство и серьезно способствовать развитию современной цивилизации не только на Марсе, но и повсюду в космосе. Их применяли бы при добыче полезных ископаемых в поясе астероидов, строительстве лазерных батарей на Луне, сборке гигантских межзвездных кораблей на орбите и создании базы для человеческих колоний на далеких экзопланетах».

Следующим этапом эволюции ИИ и робототехники станет создание машин, обладающих сознанием. Они должны брать на себя лидирующие роли среди других машин и алгоритмов: управлять работой других механизмов, планировать сложные процессы, координировать действия, предлагать инновационные решения.

Однако эпоха сознательных машин поднимает множество сложных философских и этических вопросов, да и просто пугает большинство населения, небезосновательно считающего вероятным восстание машин против людей. Еще в 1863 г. викторианский писатель Сэмюэл Батлер предупреждал: «Мы сами создаем себе преемников. Человек станет для машины тем, чем для человека являются лошадь и собака». А специалист по ИИ Ханс Моравек говорил: «Жизнь может показаться бессмысленной, если нам суждено глупо пялиться на своих сверхразумных потомков, когда они будут пытаться объяснить нам свои невероятные открытия на упрощенном языке, который мы только и способны понять».

Профессор Ник Бостром предостерегает: «Перед перспективой взрывного развития разума мы, люди, подобны маленьким детям, играющим с бомбой. Мы понятия не имеем, когда произойдет детонация, хотя стоит поднести устройство к уху, и можно услышать слабое тиканье». В качестве подтверждения своих тревожных опасений Бостром приводит гипотетический эксперимент по производству скрепок машинным суперинтеллектом. Наилучший план действий с точки зрения ИИ заключается в максимальной концентрации денег и ресурсов, чтобы построить максимальное количество фабрик, изготавливающих скрепки. А для этого лучше задействовать все имеющиеся ресурсы человечества. Поэтому такой суперинтеллект при отсутствии контроля в итоге «превратит сначала Землю, а затем все более увеличивающиеся области видимой части Вселенной в скрепки».

Мюррей Шанахан тоже высказывал настороженность по этому поводу: «Если интеллект станет не только источником технологий, но и их продуктом, может возникнуть цикл обратной связи с непредсказуемыми и потенциально взрывоопасными последствиями. Если конструируется сам разум, который одновременно является автором такого конструирования, он может вступить в цикл самосовершенствования». Он также заявлял: «Любое его действие и любой предоставляемый им совет будет являть собой безжалостную погоню за максимизацией его базовой функции потребления. Поэтому задача разработчиков ИИ состоит в аккуратной разработке исходной функции подкрепления, чтобы обеспечить желаемое поведение».

Более того, опасный для человечества ИИ будет защищаться, насколько это будет ему необходимо для продолжения существования, чтобы максимизировать функцию подкрепления, потому что любой другой образ действий он признает неоптимальным. Иными словами, ИИ будет пытаться защитить средства максимизации ожидаемой выгоды, что бы это ни означало. Цель самосохранения, защиты максимизации выгоды это пример того, что Ник Бостром назвал «конвергентной инструментальной целью». Конвергентная – поскольку есть в любом достаточно развитом универсальном ИИ, функция подкрепления которого открыта и нетривиальна; инструментальная – потому что является лишь средством достижения цели, а не самой целью, – максимизация функций подкрепления.

Еще одна важная «конвергентная инструментальная цель» – получение ресурсов, то есть контроль большего объема ресурсов позволяет получить лучшее решение и способствует самосохранению.

Универсальный ИИ, поведение которого направляется этими двумя конвергентными инструментальными целями, попытается накапливать ресурсы в неограниченном количестве, невзирая на человеческие закон и мораль, будет готов применить силу для защиты от отключения, окажется способен перехитрить человека во всех отношениях и поэтому получит огромную разрушительную для человечества силу. Более того, такой опасный ИИ будет продолжать свою разрушительную деятельность, пока не присвоит все ресурсы: его не остановит ни капитуляция человечества, ни исчезновение биологической жизни на Земле. Как иронично подметил американский исследователь, сторонник «дружественного ИИ» Элиезер Юдковский: «ИИ не испытывает к вам ни чувства ненависти, ни чувства любви, но вы состоите из атомов, которые он может использовать для других целей».

Самый пессимистичный сценарий поведения суперинтеллекта может напомнить ситуацию с серой слизью из самовоспроизводящихся нанороботов, описанную пионером нанотехнологий Эриком Дрекслером: такие нанороботы размножаются по экспоненте и буквально пожирают всю планету.

Очевидный, но труднореализуемый способ сделать ИИ безопасным – ограничить его физические возможности и позаботиться о том, чтобы он не мог снять это ограничение. Даже если разместить ИИ на защищенном объекте, изолированном от внешнего мира, нельзя забывать о том, что ИИ сверхчеловеческого уровня может манипулировать поведением людей лучше любой религии или диктатора, а значит, будет иметь возможность убедить контролирующих его людей обеспечить ему доступ к внешнему миру.