Книга Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей - Мартин Форд

С. Р.: На мой взгляд, мы не совсем корректно определяем понятие «интеллект». В целом, это рациональное поведение. Если создать машины с аналогичной способностью осуществлять свои намерения, появятся очень умные существа, но со своими целями. И достигать они будут именно их!

Первоначально ИИ был задуман как оптимизатор: то есть искатель оптимальных путей достижения человеческой цели. И это работало, но только потому, что созданные машины не были по-настоящему интеллектуальными и функционировали в ограниченном пространстве. После выхода ИИ в реальный мир все может пойти не по плану. Мы уже видели обвал торговых рынков после появления торговых ботов.

Мне кажется правильным, когда машины, помогающие в достижении наших целей, не знают, в чем эти цели заключаются. Нужна неопределенность относительно характера наших целей. Именно она даст желанную гарантию безопасности.

Попробую продемонстрировать это на примере. Если цель машины приносить кофе, при достаточном интеллекте она сможет понять, что в выключенном состоянии она не сможет этого сделать. Тогда она предпримет шаги для предотвращения выключения. Я считаю, что необходимо заложить в машину цель избегать нежелательных для человека действий. Такое видение ИИ можно описать математически, показав, что гарантия безопасности (то есть в данном случае мотив, под влиянием которого машина позволит себя выключать) напрямую связана с отсутствием информации о целях человека.

Конечно, мое видение ИИ несколько отличается от общепринятого. Но именно так можно построить систему ИИ, более совершенную с точки зрения безопасности и контроля.

М. Ф.: Раз уж речь зашла о безопасности и контроле, поясните, пожалуйста, насколько серьезно следует относиться к гонке вооружений в других странах, особенно в Китае.

С. Р.: Ник Бостром и другие ученые выражали свое беспокойство тем, что, если правительство сочтет стратегическое доминирование в области ИИ важным компонентом национальной безопасности и экономического лидерства, то акцент будет делаться на его максимально быстрое развитие. Забота о степени контролируемости таких систем в этом случае отойдет на второй план.

Эти опасения кажутся мне не лишенными основания. С другой стороны, поскольку мы работаем над системами ИИ, пригодными для использования в реальном мире, у нас есть экономический стимул сделать так, чтобы они оставались под контролем.

Для примера представим продукт, который может появиться в ближайшем будущем: обладающий интеллектом личный помощник, фиксирующий ваши действия, разговоры, отношения и т. п. Фактически это личный секретарь. Вы же понимаете, что систему, которая не разбирается в человеческих предпочтениях и действует небезопасными способами, просто никто не купит. Система, не понимающая нюансов человеческой жизни, может забронировать номер в гостинице за 20 000 долларов в сутки или ответит отказом на предложение встретиться с президентом, потому что на это время вы уже записаны к стоматологу. Кому нужен такой робот? Это станет концом индустрии. Вспомните, что случилось с атомной промышленностью после Чернобыля и Фукусимы. Если мы не сможем решить проблему контроля, область ИИ умрет.

М. Ф.: Но в целом вы оптимист? Думаете, что все получится?

С. Р.: Да, меня можно назвать оптимистом. Мы только начинаем подходить к проблеме управления, но первые попытки кажутся вполне продуктивными. Поэтому я верю, что существует путь развития, который позволит создать доказанно полезные системы ИИ.

Разумеется, есть риск, что даже если мы решим проблему контроля и построим полезные ИИ-системы, кто-то другой может пойти по пути наращивания возможностей ИИ без учета аспектов, связанных с безопасностью. Эдакий доктор Зло, который создаст разрушительную систему ИИ или будет злоупотреблять контролируемым ИИ. В этих сценариях мы постепенно превратимся в ослабленное общество, в котором так много знаний перенесено в машины и так много решений отдано им на откуп, что вернуть контроль над ситуацией мы уже не сможем и потеряем свободу воли.

Такое будущее изображено в фильме «ВАЛЛ-И», где люди отправляются в космос в попытке спастись, а на кораблях их обслуживают машины. Постепенно люди становятся слабее, ленивее и глупее. О риске оказаться в таком будущем тоже следует помнить.

Но я оптимистично надеюсь на будущее, в котором системы ИИ смогут напоминать людям: «Не используйте нас. Получайте знания и навыки самостоятельно. Сохраняйте свои возможности и способности, распространяйте цивилизацию через людей, а не через машины».

9 10

Джеффри Хинтон

“В 1980-х гг., когда вокруг ИИ в целом и метода обратного распространения в частности была большая шумиха, люди ждали чудес и не дождались. Но сегодня чудеса уже происходят, а на шумиху не стоит обращать внимание."

Профессор computer science Университета Торонто, руководитель инженерно-технической службы компании GOOGLE, главный консультант научно-исследовательского центра Vector Institute

Джеффри Хинтона иногда называют крестным отцом глубокого обучения. Именно он стоял у истоков таких ключевых технологий, как метод обратного распространения, машина Больцмана и капсульная нейронная сеть.

Джеффри – член Лондонского королевского общества, а также иностранный член Национальной инженерной академии США и Американской академии искусств и наук. Обладатель премии Румельхарта, награды IJCAI за исследовательские достижения, канадской национальной премии Killam Prize в области разработки, награды имени Фрэнка Розенблатта, золотой медали Джеймса Клерка Максвелла от Института инженеров электротехники и электроники (IEEE), награды C & C от японской корпорации NEC, премии от компании BBVA и высшей награды Канады в области науки и техники – золотой медали Герхарда Херцберга.

Мартин Форд: Широкую известность вам принесла работа над методом обратного распространения ошибки. Расскажите, пожалуйста, что это за метод?

Джеффри Хинтон: Проще всего объяснить от обратного. Считается, что существует четкий алгоритм обучения нейронных сетей. Есть сеть, состоящая из слоев нейронов, снизу – вход в нее, сверху – выход. Все связи между нейронами имеют свой вес. Каждый нейрон смотрит на нейроны нижнего слоя и умножает их активность на вес связей, затем складывает все это и выдает результат. Регулируя вес связей, можно заставить сеть выполнять нужные вам операции, например находить кота на изображении и добавлять соответствующую метку.

Но как с помощью регулировки весов добиться от сети нужного результата? Существует простой и эффективный, но невероятно медленный алгоритм. Всем связям присваиваются случайные веса, сети демонстрируются примеры, и вы смотрите, что получается. Затем один из этих весов немного меняется, и демонстрируется другой набор примеров. Если результат работы сети стал лучше, внесенные изменения сохраняются. В противном случае вес возвращается к исходному значению или меняется в противоположном направлении. Затем эта операция проделывается с весом следующей связи и т. д.