Книга Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей - Мартин Форд

М. Ф.: Как в Беркли, так и в Калифорнийском университете в Сан-Франциско вы работали над машинным обучением на базе медицинских данных. Как вы думаете, сможет ли ИИ улучшить ситуацию в области здравоохранения?

С. Р.: Думаю, да. Но мне кажется, что в такой сфере, как медицина, лучше будут работать подходы, базирующиеся на накопленных знаниях и построенных моделях, а не машинное обучение.

Хотя допускаю, что в каких-то областях медицины терабайты маркированных данных дадут хорошие результаты. Активная работа такого рода велась в 1960–1970-х гг., что привело к определенному прогрессу систем ИИ в области медицины. Но современные технологии показали несовершенство имеющихся моделей. По большому счету это модели полностью предсказуемого вымышленного человека.

Вероятностные системы – более обоснованный и целесообразный подход. Они позволяют добавлять к классическим моделям физиологии собираемые в реальном времени данные наблюдений, чтобы поставить диагноз и запланировать лечение.

М. Ф.: А какие риски несет применение ИИ в качестве оружия?

С. Р.: Я думаю, уже началась новая гонка вооружений. В рамках которой, возможно, уже ведется разработка автономного оружия, которому достаточно описания миссии, чтобы самостоятельно идентифицировать и атаковать цель.

Ужаснее всего то, что из автономности логически вытекает масштабируемость. Если для каждой единицы вооружения не требуется человек-оператор, ничто не помешает, например, активировать 10 млн орудий убийства и уничтожить в отдельно взятой стране всех мужчин в возрасте от 12 до 60 лет. Это оружие массового уничтожения.

Применение ядерного оружия – это все-таки переход определенной черты, от которого мы пусть с трудом, но удержались даже в разгар холодной войны. У автономного оружия такого порога нет, к тому же оно легко распространяется. Поэтому, как только будет налажено его производство, доступ к нему получат в числе прочих люди, которые без колебаний пустят его в ход.

М. Ф.: Но ведь в военных целях могут применяться и обычные устройства. Достаточно приобрести на сайте Amazon беспилотный летательный аппарат и добавить к нему оружие…

С. Р.: Современные беспилотные летательные аппараты все-таки управляются с земли. Конечно, к такому аппарату можно прикрепить небольшую бомбу и доставить ее куда нужно, но сам по себе он этого сделать не сможет. Кроме того, для запуска 10 млн дронов потребуется столько же людей-операторов. Гипотетически можно представить, что кто-то подготовит целую армию для управления оснащенными бомбами дронами, но такие вещи попадают под санкции международных контролирующих органов. А вот возможности контролировать автономное оружие пока не существует.

М. Ф.: Но разве невозможно в домашних условиях разработать автономную систему управления и развернуть ее на дронах? Контролируются ли как-нибудь подобные вещи?

С. Р.: Да, для управления оснащенными оружием дронами можно использовать нечто похожее на программное обеспечение, которое управляет беспилотным автомобилем. В результате получится самодельное автономное оружие. Возможно, по этому поводу со временем будет заключен некий регулирующий договор, придумают механизм проверки с привлечением производителей дронов и чипов для беспилотных автомобилей. На заметку будут брать всех, кто заказывает подобные комплектующие в больших количествах. Разумеется, плохие вещи все равно будут делаться, но редко. А в небольших количествах автономное оружие не обладает особыми преимуществами перед обычным.

Кроме того, с применением ИИ в военных целях связаны и другие риски. Например, машины могут неправильно истолковать какой-то сигнал. Нельзя сбрасывать со счетов и вероятность взлома, после чего автономное оружие, которое вы считаете своей надежной защитой, обернется против вас.

М. Ф.: Эти пугающие сценарии вы показали в короткометражном фильме Slaughterbots («Роботы-убийцы»).

С. Р.: В письменной форме мы не смогли достучаться до широких масс. Люди продолжали считать автономное оружие научной фантастикой.

М. Ф.: В 2014 г. вместе со Стивеном Хокингом, Максом Тегмарком и Фрэнком Вильчеком вы опубликовали письмо, в котором говорилось о недостаточно серьезном отношении к рискам, связанным с ИИ. Среди авторов вы были единственным специалистом в области computer science. Как появилась идея этого письма?

С. Р.: Все началось с того, что Национальное общественное радио попросило меня поделиться мыслями по поводу фильма «Превосходство». Фильм совсем недавно появился в прокате, поэтому я пошел в кино, понятия не имея о том, что именно увижу.

Сначала там показали отдел информатики в Беркли. Профессор в исполнении Джонни Деппа рассказывал об ИИ, как вдруг его убил представитель радикальной антитехнологической группировки. В этот момент я невольно сжался, ведь на месте этого профессора в то время вполне мог оказаться и я. Перед смертью ученого его жена и лучший друг успели загрузить его мозг в большой квантовый компьютер. Он стал сверхинтеллектуальной сущностью, которая смогла быстро развить различные новые технологии и попыталась захватить мир.

В итоге появилось письмо, которое на первый взгляд представляло собой рецензию на фильм, но на самом деле несло следующую идею: «Любые создаваемые машины могут оказать сильное влияние на реальный мир, и это может стать серьезной проблемой, потому что речь идет о передаче контроля над нашим будущим объектам, которые не являются людьми». Ведь именно интеллект дает нам способность контролировать мир.

М. Ф.: Но многие видные ученые, занимающиеся ИИ, не считают это проблемой…

С. Р.: Да, я слышал много раз, что связанные с ИИ проблемы надуманны. Но пока аргументы сторонников такой точки зрения не показались мне заслуживающими внимания. Например, утверждать, что механизм с ИИ можно просто отключить, все равно что считать, что для победы в го над компьютером AlphaZero достаточно правильно двигать свои камни.

Отрицание проблемы ИИ я воспринимаю как защитную реакцию. Чтобы перестать бояться угрозы, люди убеждают себя, что ее не существует. По крайней мере, эта теория объясняет, почему даже очень информированные люди пытаются отрицать наличие проблемы.

Распространяется теория и на тех представителей ИИ-сообщества, которые не верят в возможность появления сильного ИИ. Здесь ситуация еще забавнее, потому что у нас за плечами 60 лет работы над темой, в успех которой мало кто верил. Но вещи, которые, если верить скептикам, были невозможными, воплотились в реальности. Например, компьютер победил чемпиона мира по шахматам.

Я верю, что люди, которые за историю своего существования сделали множество открытий и даже научились пользоваться атомной энергией, смогут преодолеть препятствия и создадут интеллект, достаточно сильный для того, чтобы возникла угроза его выхода из-под контроля. Благоразумно начать думать над тем, как убрать эту угрозу еще на стадии проектирования систем ИИ.

М. Ф.: А как это можно сделать?