Книга Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей - Мартин Форд

М. Ф.: То есть в 2012 г. наступил переломный момент в отношении глубокого обучения?

Дж. Х.: Это был переломный момент для компьютерного зрения. В сфере распознавания речи он случился раньше. В 2009 г. два аспиранта из Торонто показали, что глубокое обучение позволяет улучшить распознавание речи. Они стали стажерами в IBM и Microsoft, а другой мой студент принес эту систему в Google.

М. Ф.: Если почитать современную прессу, создается впечатление, что нейронные сети и глубокое обучение – это эквивалент ИИ.

Дж. Х.: Долгое время ИИ считался системой, запрограммированной на определенные правила обработки символьных строк. В этом заключался интеллект. Оставалось уточнить, как выглядят эти правила и строки. Затем появились нейронные сети. Это была попытка смоделировать разум по образцу человеческого мозга.

Обратите внимание, что ИИ в том виде, как его изначально понимали, не имел отношения к обучению. В 1970-х гг. упор делался на определение правил и выбор символических выражений. Считалось, что рано думать об обучении. Тех же, кто занимался нейронными сетями, интересовали вопросы обучения, восприятия и управления движением. Они считали, что с точки зрения эволюции способность рассуждать логически появляется на поздних стадиях развития.

Сейчас в промышленности и правительстве термин «ИИ» используют для обозначения глубокого обучения, что приводит к парадоксальным ситуациям. Например, в Торонто было щедро профинансировано создание научно-исследовательского центра Vector Institute, который занимается фундаментальными исследованиями в области глубокого обучения. Разумеется, на финансирование претендуют многие, и один университет заявил, что у них больше специалистов по ИИ, чем в Торонто, приведя в качестве доказательства количество ссылок на их работы. При этом они занимаются классическим ИИ. Мне кажется, что лучше вообще не пользоваться этим термином, чтобы не давать поводов для подобной путаницы.

М. Ф.: Вы считаете, что термин «искусственный интеллект» должен быть связан только с нейронными сетями?

Дж. Х.: Я думаю, общая идея ИИ состоит в создании небиологических интеллектуальных систем. Хотя до сих пор у многих, особенно у старшего поколения ученых, сохраняется наивное представление об ИИ как о системе, умеющей манипулировать символическими выражениями. Но даже наборы символов на входе и выходе не означают, что внутри мы имеем дело с символьными строками. Там находятся векторы нейронной активности.

М. Ф.: В конце 2017 г. вы сказали в интервью, что алгоритм обратного распространения ошибки нужно отбросить, все начать с нуля. Что вы имели в виду?

Дж. Х.: В данном случае неверно передан контекст беседы. Я поднимал вопрос о том, насколько метод обратного распространения может помочь в понимании принципов работы мозга. Есть основания полагать, что в мозге ничего подобного не происходит. Но это не означает, что метод не нужно применять при моделировании искусственных систем.

М. Ф.: И возможно, результаты будут улучшаться?

Дж. Х.: Мы работаем над совершенствованием глубокого обучения. Я допускаю появление других алгоритмов, действующих альтернативными способами. Но даже их появление не значит, что следует отказаться от метода обратного распространения.

М. Ф.: А почему вас заинтересовали ИИ и нейронные сети?

Дж. Х.: Мой школьный друг Инман Харви был очень хорошим математиком. И однажды заинтересовался идеей, что мозг может работать как голограмма.

М. Ф.: Голограмма как трехмерное представление?

Дж. Х.: Вы помните, что если разрезать голограмму, получится не две половины изображения, а нечеткое изображение всей сцены в каждой половине? Такой способ распределения информации отличается от того, к чему мы привыкли. Отрезав кусок фотографии, вы просто потеряете информацию о том, что было на этом фрагменте.

Инмана заинтересовал тот факт, что таким же способом может работать память человека, в то время как каждый отдельный нейрон не отвечает за ее сохранение. Он предположил, что информация в мозге хранится благодаря настройке силы связей между нейронами, и что, по сути, это распределенное представление, то есть попытка изобразить какие-то вещи, которым соответствует активность в ряде нейронов, но каждый нейрон участвует в представлении разных вещей. При таком подходе исключено однозначное соответствие между нейронами и понятиями. Это первое, что меня заинтересовало. Кроме того, было интересно, каким образом мозг может учиться чему-то, регулируя силу соединений между нейронами.

М. Ф.: И это в старших классах школы? Потрясающе! А как поменялись ваши интересы после поступления в университет?

Дж. Х.: Там я начал изучать физиологию. И узнал, как нейроны распространяют потенциалы действия. Помогли эксперименты на аксоне гигантского кальмара. Оказалось, что именно так работает мозг. Но я разочаровался, узнав, что не существует модели процесса представления или изучения различных вещей.

Я переключился на психологию, думая, что здесь мне скажут, как работает мозг. Но в то время в Кембридже основной упор делался на бихевиоризм, и изучение психологии сводилось к крысам в лабиринтах. Конечно, занимались и когнитивной психологией, но это не имело отношения к вычислительным методам, поэтому мне казалось, что мы никогда не узнаем, как же работает мозг.

В рамках проекта по изучению развития детей я смотрел, как в возрасте от 2 до 5 лет меняется восприятие различных свойств. Оказалось, что совсем маленькие дети в основном интересуются цветом и текстурой, а по мере взросления их начинает интересовать форма. Детям демонстрировались три объекта, один из которых отличался от двух других. Например, два желтых круга и один красный. Мне нужно было научить детей убирать лишний объект.

В следующих заданиях лишним был объект другой формы. После этого детям предложили желтый треугольник, желтый круг и красный круг. Предполагалось, что если детей больше интересует цвет, они уберут красный круг, а если форма – лишним окажется желтый треугольник. Один пятилетний ребенок указал на красный круг и сказал: «Он покрашен в неправильный цвет».

Я работал над подтверждением крайне примитивной модели, которая всего лишь утверждала, что фокус смещается от цвета к форме, но никак не объясняла почему. Ребенок же обработал информацию, которую ему давали в виде обучающих примеров, и, столкнувшись с набором, допускавшим удаление более чем одного объекта, решил, что, возможно, что-то покрашено не в тот цвет.

Тестируемая модель не была адаптирована к уровню сложности изучаемой системы, и других адекватных моделей не было. Передо мной была интеллектуальная система, умеющая обрабатывать информацию и делать выводы о причинах происходящего. И я прекратил ее исследовать таким неэффективным способом.

М. Ф.: После этого вы начали заниматься ИИ?

Дж. Х.: Нет, я стал плотником. И некоторое время наслаждался этим, пока не увидел работу настоящего мастера. Это меня так расстроило, что я решил вернуться в науку.