Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

это делают люди, и таким образом создавать полноценный искусственный интеллект. Терминология не всегда последовательна, но в целом, чтобы что-то было признано ИИ, оно должно быть способно самостоятельно учиться новому, а не просто следовать инструкциям своих первоначальных создателей-людей. Современный ИИ, играющий в шахматы, не обучается ничему, кроме основных правил игры. Всему остальному он учится сам, либо анализируя базы данных предыдущих партий, либо играя в новые партии и извлекая уроки из опыта. ИИ - это не тупой автомат, который повторяет одни и те же движения снова и снова, независимо от результатов. Напротив, он оснащен мощными механизмами самокоррекции, которые позволяют ему учиться на собственных ошибках.

Это означает, что ИИ начинает свою жизнь как "детский алгоритм", который обладает большим потенциалом и вычислительной мощностью, но на самом деле мало что знает. Человеческие родители ИИ дают ему только способность к обучению и доступ к миру данных. Затем они позволяют детскому алгоритму исследовать мир. Как и органические новорожденные, детские алгоритмы учатся, замечая закономерности в данных, к которым они имеют доступ. Если я прикоснусь к огню, мне будет больно. Если я заплачу, придет мама. Если я пожертвую ферзем ради пешки, то, скорее всего, проиграю партию. Находя закономерности в данных, детский алгоритм узнает больше, в том числе многое из того, чего не знают его родители-люди.

Однако базы данных не лишены погрешностей. Алгоритмы классификации лиц, изученные Джой Буоламвини, были обучены на наборах данных, состоящих из помеченных онлайн-фотографий, таких как база данных Labeled Faces in the Wild. Фотографии в этой базе данных были взяты в основном из новостных статей в Интернете. Поскольку в новостях преобладают белые мужчины, 78 % фотографий в базе данных были мужскими, а 84 % - белыми. Джордж Буш-младший фигурировал 530 раз - более чем в два раза чаще, чем все чернокожие женщины вместе взятые. Другая база данных, подготовленная правительственным агентством США, более чем на 75 % состояла из мужчин, почти на 80 % из светлокожих и всего на 4,4 % из темнокожих женщин. Неудивительно, что алгоритмы, обученные на таких наборах данных, отлично идентифицировали белых мужчин, но плохо идентифицировали чернокожих женщин. Нечто подобное произошло и с чатботом Tay. Инженеры Microsoft не закладывали в него никаких предрассудков. Но несколько часов воздействия токсичной информации, циркулирующей в Twitter, превратили ИИ в ярого расиста63.

Дальше - хуже. Для того чтобы обучаться, детским алгоритмам, помимо доступа к данным, нужна еще одна вещь. Им также нужна цель. Человеческий ребенок учится ходить, потому что хочет куда-то попасть. Львенок учится охотиться, потому что хочет есть. Алгоритмы тоже должны иметь цель, чтобы учиться. В шахматах легко определить цель: взять короля противника. ИИ узнает, что жертвовать ферзем ради пешки - это "ошибка", потому что она обычно мешает алгоритму достичь цели. При распознавании лиц цель также проста: определить пол, возраст и имя человека, указанные в исходной базе данных. Если алгоритм догадался, что Джордж Буш-старший - женщина, а в базе данных указано, что мужчина, цель не достигнута, и алгоритм учится на своей ошибке.

Но если вы хотите обучить, например, алгоритм найма персонала, как вы определите цель? Как алгоритм узнает, что он совершил ошибку и нанял "не того" человека? Мы можем сказать алгоритму, что его цель - нанимать людей, которые остаются в компании не менее года. Работодатели, очевидно, не хотят тратить много времени и денег на обучение работника, который через несколько месяцев увольняется или уходит. Определив таким образом цель, пора обратиться к данным. В шахматах алгоритм может получить любое количество новых данных, просто играя против самого себя. Но на рынке труда это невозможно. Никто не может создать целый воображаемый мир, в котором детский алгоритм может нанимать и увольнять воображаемых людей и учиться на этом опыте. Детский алгоритм может обучаться только на существующей базе данных о реальных людях. Как львята узнают, что такое зебра, наблюдая за узорами в реальной саванне, так и детские алгоритмы узнают, что такое хороший сотрудник, наблюдая за узорами в реальных компаниях.

К сожалению, если реальные компании уже страдают от каких-то укоренившихся предрассудков, детский алгоритм, скорее всего, усвоит эти предрассудки и даже усилит их. Например, алгоритм, ищущий в реальных данных паттерны "хороших сотрудников", может прийти к выводу, что нанимать племянников босса - всегда хорошая идея, независимо от того, какой еще квалификацией они обладают. Ведь данные явно указывают на то, что "племянников босса" обычно берут на работу, когда они претендуют на нее, и редко увольняют. Детский алгоритм заметит эту закономерность и станет кумовьями. Если его поставить во главе отдела кадров, он начнет отдавать предпочтение племянникам босса.

Аналогично, если компании в женоненавистническом обществе предпочитают нанимать мужчин, а не женщин, алгоритм, обученный на реальных данных, скорее всего, уловит и это предубеждение. Так и произошло, когда в 2014-18 годах компания Amazon попыталась разработать алгоритм для отбора заявок на работу. Изучая предыдущие успешные и неуспешные заявки, алгоритм начал систематически понижать рейтинг заявок только за то, что они содержали слово "женщина" или поступали от выпускниц женских колледжей. Поскольку имеющиеся данные показывали, что в прошлом у таких заявок было меньше шансов на успех, алгоритм выработал предубеждение против них. Алгоритм думал, что он просто открыл объективную истину о мире: кандидаты, окончившие женские колледжи, менее квалифицированы. На самом деле он просто усвоил и навязал женоненавистническое предубеждение. Amazon пыталась решить эту проблему, но не смогла, и в итоге отказалась от проекта.

База данных, на которой обучается ИИ, чем-то похожа на детство человека. Детские впечатления, травмы и сказки остаются с нами на всю жизнь. У ИИ тоже есть детский опыт. Алгоритмы могут даже заражать друг друга своими предубеждениями, как это делают люди. Рассмотрим будущее общество, в котором алгоритмы повсеместно распространены и используются не только для отбора кандидатов на работу, но и для того, чтобы рекомендовать людям, что изучать в колледже. Предположим, что в силу существовавших ранее женоненавистнических предубеждений 80 % рабочих мест в инженерной сфере отдается мужчинам. В таком обществе алгоритм, нанимающий новых инженеров, скорее всего, не только скопирует это предубеждение, но и заразит им алгоритмы, рекомендующие колледжи. Молодую женщину, поступающую в колледж, могут отговорить от изучения инженерного дела, поскольку существующие данные указывают на то, что у нее меньше шансов получить работу. То, что начиналось как человеческий межсубъективный миф о том, что "женщины плохо разбираются в инженерии", может превратиться в межкомпьютерный миф. Если мы не избавимся от предубеждения в самом