Книга Наша математическая вселенная. В поисках фундаментальной природы реальности - Макс Тегмарк

Рис. 13.4. Если наступит сингулярность, всё будет зависеть от того, кто ею управляет.

Однако и лучшие планы рушатся. Ситуация с дружественным ИИ может оказаться неустойчивой, превратившись в конце концов в подконтрольную недружественному ИИ, цели которого не будут совпадать с человеческими, а действия приведут к уничтожению и самого человечества, и всего, что нам дорого. Такое уничтожение может быть скорее побочным эффектом, чем преднамеренным результатом: ИИ может просто захотеть использовать земные атомы для других целей, несовместимых с нашим существованием. Аналогия с тем, как мы сами обращаемся с иными формами жизни, не радует. Если мы хотим построить гидроэлектростанцию и оказалось, что в области затопления живёт некоторое число муравьёв, мы всё равно построим плотину. У нас нет особенной антипатии к муравьям, однако есть цели, которые мы считаем более важными.

Внутренняя реальность сверхразумной жизни

А что можно сказать о сознании и самосознании искусственного интеллекта или интеллектов? Будут ли они обладать внутренней реальностью? Если нет, то с любой практической точки зрения они будут как зомби. Из всех черт, присущих человеческой форме жизни, самой замечательной я считаю сознание. Насколько я понимаю, именно так Вселенная приобретает смысл, а если нашу Вселенную захватит форма жизни, лишённая этой черты, это окажется бессмысленным разбазариванием огромного пространства.

О природе жизни и сознания яростно спорят. Я считаю, что эти явления могут существовать в гораздо более общем смысле, а не только в известных нам примерах на углеродной основе. Я считаю, что сознание — это способ, каким информация ощущает, что её обрабатывают (гл. 11). Поскольку материя может быть организована так, чтобы обрабатывать информацию множеством способов самой разной сложности, предполагается большое разнообразие уровней и типов сознания. Конкретный тип сознания, который мы знаем субъективно, — это, в таком случае, явление, возникающее в отдельных, очень сложных физических системах, которые получают, обрабатывают, хранят и выводят информацию. Ясно, что если атомы могут быть собраны в людей, то законы физики также позволяют сконструировать гораздо более развитые формы жизни.

Поэтому я думаю, что если мы посредством сингулярности запустим в конце концов развитие более развитых сущностей, скорее всего они тоже будут иметь самосознание и должны будут рассматриваться не как машины, а как подобные нам сознательные существа. Однако их сознание может субъективно ощущаться совсем не так, как наше. Например, у них, вероятно, не будет присущего нам страха смерти: поскольку у них будут резервные копии самих себя, всё, что им может грозить — это потеря воспоминаний, накопленных с момента последнего бэкапа. Возможность легко копировать информацию и программное обеспечение между носителями ИИ, вероятно, ослабит чувство индивидуальности, которое характерно для человеческого сознания. Стало бы меньше различий между вами и мной, если бы мы могли легко копировать наши воспоминания и делиться способностями, так что группа соседствующих носителей ИИ может ощущать себя скорее как единый организм с целым ульем сознаний.

Если так, то появляется возможность примирить долгосрочное сохранение жизни с аргументом Судного дня (гл. 11): то, что кончается, — не сама жизнь, а только наш референтный класс, наблюдательные мгновения самосознания, которые субъективно ощущаются похожими на человеческие сознания. Даже если сложные ульеподобные сознания в течение миллиардов лет населяют Вселенную, мы не в большей мере должны удивляться тому, что не являемся ими, чем тому, что мы не являемся муравьями.

Реакция на сингулярность

Реакция людей на возможность сингулярности очень различается. У дружественного ИИ весьма почтенная история в научно-фантастической литературе, поддержанная тремя законами робототехники Азимова. Популярны и сюжеты, в которых ИИ перехитрил и атаковал своих создателей, как в фильмах о Терминаторе. Многие отмахиваются от сингулярности как от «мечты гиков», видя в ней сценарий, который вряд ли реализуется… и уж точно не реализуется в обозримом будущем. Другие думают, что это вполне может случиться и что если у нас не будет детального плана, может погибнуть не только человеческий вид, но и всё, что нам дорого. Я состою советником в Институте изучения искусственного интеллекта (http://intelligence.org), и многие его сотрудники рассматривают сингулярность как наиболее серьёзную угрозу нашего времени. Некоторые из них думают, что если нельзя гарантировать реализацию варианта с дружественным ИИ по Юдковски и др., то лучше держать ИИ под надёжным человеческим контролем или вовсе не улучшать ИИ.

До сих пор мы обсуждали негативные последствия сингулярности. Рэй Курцвейл, напротив, считает сингулярность огромным благом и даже лучшим, что может случиться с человечеством, поскольку она решит все нынешние человеческие проблемы.

Вдохновляет или ужасает вас идея замены человечества более развитой формой жизни? Это, вероятно, сильно зависит от обстоятельств и, в частности, от того, видите ли вы в преемниках своих потомков или поработителей.

Если ребёнок оказался умнее своих родителей и, став самостоятельным, достиг того, о чём они и не мечтали, то родители, вероятно, будут счастливы и горды им, даже если знают, что самим им не суждено всё это испытать. Родители очень умного человека, устроившего кровавую бойню, чувствуют себя иначе. Мы можем ощущать отношения родитель — ребёнок с ИИ, рассматривая его как наследника наших ценностей. Поэтому имеет огромное значение, станет ли будущая высокоразвитая жизнь хранить верность нашим идеалам.

Другой важный фактор — окажется переход постепенным или резким. Я подозреваю, что мало кто обеспокоен перспективами человечества. Люди за тысячелетия своей эволюции стали умнее, лучше приспосабливаются к изменяющейся окружающей среде и, возможно, меняют свой облик. С другой стороны, многие родители будут испытывать двойственные чувства, если узнают, что ребёнок, о котором они мечтали, будет стоить им жизни. Если технология не заменит нас внезапно, а будет модернизировать и совершенствовать нас, в итоге сливаясь с нами, то может быть обеспечено и сохранение целей, и постепенность, необходимые нам, чтобы рассматривать постсингулярные формы жизни в качестве потомков. Мобильные телефоны и интернет уже расширили наши возможности по достижению того, чего мы хотим, по-видимому, без существенного искажения наших главных ценностей. Так что адепты сингулярности верят, что то же самое будет и с мозговыми имплантатами, устройствами, управляемыми мыслью, и даже с полной загрузкой человеческого сознания в виртуальную реальность.

Более того, это открывает нам космос, последний рубеж. В конце концов, чрезвычайно развитая жизнь, способная распространиться во Вселенной, вероятно, может появиться лишь в результате двухстадиального процесса: сначала разумные существа развиваются в ходе естественного отбора, а затем решают передать факел жизни дальше, сконструировав более совершенное сознание, способное к дальнейшему самосовершенствованию. Освобождённая от ограничений, накладываемых человеческими телами, развитая жизнь может расцвести и в конце концов заселить большую часть наблюдаемой Вселенной. Эту возможность давно изучают писатели-фантасты, энтузиасты ИИ и мыслители-трансгуманисты.