Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

компании, выросший в сельской местности Мьянмы, неоднократно писал руководителям Facebook об опасности. В электронном письме от 5 июля 2014 года - за два года до начала кампании по этнической чистке - она сделала пророческое предупреждение: "Трагично, но FB в Бирме используется так же, как радио в Руанде в темные дни геноцида". Facebook не предпринял никаких действий.

Даже после того, как нападения на рохинджа усилились и Facebook столкнулся с бурей критики, он все равно отказался нанимать людей с экспертным знанием местности для курирования контента. Так, получив информацию о том, что разжигатели ненависти в Мьянме используют бирманское слово "калар" в качестве расистского обозначения рохинья, Facebook в апреле 2017 года отреагировал на это запретом любых постов, в которых использовалось это слово. Это показало полное отсутствие у Facebook знаний о местных условиях и бирманском языке. В бирманском языке "калар" является расистским оскорблением только в определенных контекстах. В других контекстах это совершенно невинный термин. Бирманское слово, обозначающее стул, - kalar htaing, а слово, обозначающее нут, - kalar pae. Как написал Пвинт Хтун в Facebook в июне 2017 года, запретить термин kalar на платформе - все равно что запретить буквы "hell" в слове "hello". Facebook продолжал игнорировать необходимость в местной экспертизе. К апрелю 2018 года число носителей бирманского языка, которых Facebook наняла для модерации контента для восемнадцати миллионов пользователей в Мьянме, составляло всего пять человек.

Вместо того чтобы инвестировать в механизмы самокоррекции, которые вознаграждали бы за правдивую информацию, гиганты социальных сетей разработали беспрецедентные механизмы, усиливающие ошибки, которые вознаграждали ложь и вымыслы. Одним из таких механизмов, увеличивающих количество ошибок, стала программа Instant Articles, которую Facebook запустил в Мьянме в 2016 году. Желая повысить вовлеченность, Facebook платил новостным каналам в зависимости от количества привлеченных ими пользователей, измеряемого в кликах и просмотрах. При этом правдивости "новостей" не придавалось никакого значения. Исследование 2021 года показало, что в 2015 году, до запуска программы, шесть из десяти лучших сайтов Facebook в Мьянме принадлежали "законным СМИ". К 2017 году под воздействием Instant Articles "легальные СМИ" сократились до двух сайтов из первой десятки. К 2018 году все десять лучших сайтов стали "фальшивыми новостями и сайтами-приманками".

Авторы исследования пришли к выводу, что из-за запуска Instant Articles "в Мьянме за одну ночь появились актеры клик-бейта. Обладая правильным рецептом создания интересного и вызывающего контента, они могли генерировать тысячи долларов США в месяц в виде доходов от рекламы, что в десять раз превышало среднюю месячную зарплату, выплачиваемую им непосредственно Facebook". Поскольку Facebook был, безусловно, самым важным источником онлайн-новостей в Мьянме, это оказало огромное влияние на общий медиаландшафт страны. "В стране, где Facebook является синонимом Интернета, низкосортный контент подавлял другие источники информации". Facebook и другие социальные медиаплатформы не ставили перед собой сознательной цели наводнить мир фальшивыми новостями и возмущением. Но, настроив свои алгоритмы на максимальную вовлеченность пользователей, они именно это и сделали.

Размышляя о трагедии в Мьянме, Пвинт Хтун написал мне в июле 2023 года: "Я наивно полагал, что социальные сети могут возвысить человеческое сознание и распространить перспективу общего человечества через взаимосвязанные префронтальные коры у миллиардов людей. Я понял, что компании социальных сетей не заинтересованы в том, чтобы соединять префронтальные коры головного мозга. Компании социальных сетей заинтересованы в создании взаимосвязанных лимбических систем, что гораздо опаснее для человечества".

 

ПРОБЛЕМА ВЫРАВНИВАНИЯ

Я не хочу сказать, что распространение фейковых новостей и теорий заговора - это главная проблема всех прошлых, настоящих и будущих компьютерных сетей. YouTube, Facebook и другие социальные медиаплатформы утверждают, что с 2018 года они корректируют свои алгоритмы, чтобы сделать их более социально ответственными. Так это или нет, сказать сложно, тем более что общепринятого определения "социальной ответственности" не существует. Но конкретная проблема загрязнения информационной сферы в погоне за вовлеченностью пользователей, безусловно, может быть решена. Когда технологические гиганты задаются целью разработать более совершенные алгоритмы, у них это обычно получается. Примерно в 2005 году обилие спама угрожало сделать использование электронной почты невозможным. Для решения проблемы были разработаны мощные алгоритмы. К 2015 году компания Google заявила, что ее алгоритм Gmail на 99,9 % успешно блокирует настоящий спам, и только 1 % законных писем ошибочно попадает в эту категорию.

Не стоит сбрасывать со счетов и огромную социальную пользу, которую принесли YouTube, Facebook и другие социальные медиаплатформы. Следует уточнить, что большинство видеороликов на YouTube и постов в Facebook не являются фальшивыми новостями и подстрекательством к геноциду. Социальные медиа оказались более чем полезны для объединения людей, предоставления права голоса ранее бесправным группам и организации новых ценных движений и сообществ. Они также стимулировали беспрецедентную волну человеческого творчества. В те времена, когда телевидение было доминирующим средством массовой информации, зрителей часто называли "диванным картофелем": пассивными потребителями контента, который создавали несколько талантливых художников. Facebook, YouTube и другие социальные медиа-платформы вдохновили "диванных картошек" встать и начать творить. Большая часть контента в социальных сетях - по крайней мере, до появления мощного генеративного ИИ - создавалась самими пользователями, их кошками и собаками, а не ограниченным кругом профессионалов.

Я тоже регулярно использую YouTube и Facebook для общения с людьми и благодарна социальным сетям за то, что они соединили меня с моим мужем, с которым я познакомилась на одной из первых ЛГБТК-платформ в социальных сетях в 2002 году. Социальные сети сделали чудеса для таких рассеянных меньшинств, как ЛГБТК. Мало кто из геев рождается в семье геев в районе, где живут геи, а во времена до появления Интернета просто найти друг друга было очень сложно, если только вы не переехали в один из немногих толерантных мегаполисов, где была гей-субкультура. Выросший в небольшом гомофобном городке в Израиле в 1980-х и начале 1990-х годов, я не знал ни одного открытого гея. Социальные сети в конце 1990-х - начале 2000-х годов предоставили членам разрозненного ЛГБТК-сообщества беспрецедентный и почти волшебный способ найти друг друга и наладить контакт.

И все же я уделил так много внимания проблеме "вовлеченности пользователей" в социальных сетях, потому что она иллюстрирует гораздо более серьезную проблему, поразившую компьютеры, - проблему выравнивания. Когда перед компьютерами ставится конкретная задача, например, увеличить посещаемость YouTube до миллиарда часов в день, они используют всю свою мощь и изобретательность для достижения этой цели. Поскольку компьютеры работают совсем не так, как люди, они, скорее всего, будут использовать методы, которые их человеческие хозяева не предусмотрели. Это может привести к опасным непредвиденным последствиям, которые не соответствуют