Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

невероятной в сети - ее количество, ее жестокость. Это было ошеломляюще.... [Это все, что было в новостной ленте людей в Мьянме в то время. Это укрепило мысль о том, что все эти люди - террористы, не заслуживающие прав". Помимо сообщений о реальных злодеяниях АРСА, аккаунты в Facebook были наводнены фальшивыми новостями о мнимых злодеяниях и планируемых террористических атаках. Популистские теории заговора утверждали, что большинство рохинья на самом деле не являются частью народа Мьянмы, а являются недавними иммигрантами из Бангладеш, прибывшими в страну, чтобы возглавить антибуддийский джихад. Буддисты, которые в действительности составляли около 90 % населения, боялись, что их вот-вот заменят или они станут меньшинством. Без этой пропаганды не было причин, по которым на ограниченное число нападений отрядов АРСА следовало бы отвечать тотальной борьбой со всей общиной рохинья. И алгоритмы Facebook сыграли важную роль в этой пропагандистской кампании.

Хотя подстрекательские сообщения против рохинья были созданы экстремистами из плоти и крови, такими как буддийский монах Виратху, именно алгоритмы Facebook решали, какие посты продвигать. Amnesty International обнаружила, что "алгоритмы активно усиливали и продвигали контент на платформе Facebook, который подстрекал к насилию, ненависти и дискриминации в отношении рохинья". В 2018 году миссия ООН по установлению фактов пришла к выводу, что, распространяя наполненный ненавистью контент, Facebook сыграл "определяющую роль" в кампании по этнической чистке.

Читатели могут задаться вопросом, оправданно ли возлагать столько вины на алгоритмы Facebook и вообще на новые технологии социальных сетей. Если Генрих Крамер использовал печатные станки для распространения языка ненависти, в этом ведь не виноват Гутенберг и печатные станки? Если в 1994 году руандийские экстремисты использовали радио, чтобы призывать людей к массовым убийствам тутси, разумно ли винить в этом технологию радио? Точно так же, если в 2016-17 годах буддийские экстремисты решили использовать свои аккаунты в Facebook для распространения ненависти к рохинья, почему мы должны винить платформу?

Сама компания Facebook опиралась на это обоснование, чтобы отвести от себя критику. Она публично признала лишь, что в 2016-17 годах "мы делали недостаточно, чтобы предотвратить использование нашей платформы для разжигания розни и подстрекательства к насилию в офлайне". Хотя это заявление может звучать как признание вины, на самом деле оно перекладывает большую часть ответственности за распространение языка ненависти на пользователей платформы и подразумевает, что грех Facebook заключался, по меньшей мере, в бездействии - неспособности эффективно модерировать контент, создаваемый пользователями. Это, однако, игнорирует проблемные действия, совершенные собственными алгоритмами Facebook.

Важно понять, что алгоритмы социальных сетей принципиально отличаются от печатных станков и радиоприемников. В 2016-17 годах алгоритмы Facebook сами принимали активные и судьбоносные решения. Они были больше похожи на редакторов газет, чем на печатные станки. Именно алгоритмы Facebook рекомендовали посты Виратху, полные ненависти, снова и снова сотням тысяч бирманцев. В то время в Мьянме были и другие голоса, которые боролись за внимание. После окончания военного правления в 2011 году в Мьянме возникло множество политических и общественных движений, многие из которых придерживались умеренных взглядов. Например, во время вспышки этнического насилия в городе Мейктила буддийский настоятель Саядав У Витхуддха предоставил убежище в своем монастыре более чем восьмистам мусульманам. Когда бунтовщики окружили монастырь и потребовали выдать мусульман, настоятель напомнил толпе о буддийских учениях о сострадании. Позднее в интервью он рассказывал: "Я сказал им, что если они собираются забрать этих мусульман, то им придется убить и меня".

В сетевой битве за внимание между такими людьми, как Саядав У Витхуддха, и такими, как Виратху, алгоритмы были главными действующими лицами. Они выбирали, что разместить в верхней части ленты новостей пользователей, какой контент продвигать и в какие группы Facebook рекомендовать вступать. Алгоритмы могли бы рекомендовать проповеди о сострадании или кулинарные курсы, но они решили распространять полные ненависти теории заговора. Рекомендации свыше могут оказывать огромное влияние на людей. Вспомните, что Библия родилась как рекомендательный список. Порекомендовав христианам читать женоненавистническое "1-е Тимофея" вместо более терпимых "Деяний Павла и Феклы", Афанасий и другие отцы церкви изменили ход истории. В случае с Библией высшая власть принадлежала не авторам, сочинявшим различные религиозные трактаты, а кураторам, составлявшим рекомендательные списки. В 2010-х годах такой властью обладали алгоритмы социальных сетей. Майкл, сотрудник гуманитарной организации, прокомментировал влияние этих алгоритмов, сказав, что "если кто-то размещал что-то полное ненависти или подстрекательское, то это продвигалось больше всего - люди видели самый мерзкий контент больше всего.... Никто, кто пропагандировал мир или спокойствие, вообще не попадал в ленту новостей".

Иногда алгоритмы выходили за рамки простых рекомендаций. В 2020 году, даже после того, как роль Виратху в разжигании кампании этнических чисток была осуждена во всем мире, алгоритмы Facebook не только продолжали рекомендовать его сообщения, но и автоматически воспроизводили его видео. Пользователи в Мьянме выбирали определенное видео, возможно, содержащее умеренные и доброжелательные сообщения, не связанные с Виратху, но как только первое видео заканчивалось, алгоритм Facebook тут же начинал автовоспроизведение наполненного ненавистью видео с Виратху, чтобы удержать пользователей приклеенными к экрану. В случае с одним из таких видео Wirathu, согласно внутренним исследованиям Facebook, 70 процентов просмотров видео было получено благодаря таким алгоритмам автовоспроизведения. По данным того же исследования, в целом 53 процента всех видеороликов, просмотренных в Мьянме, были автоматически воспроизведены алгоритмами для пользователей. Другими словами, люди не выбирали, что им смотреть. За них это делали алгоритмы.

Но почему алгоритмы решили поощрять возмущение, а не сострадание? Даже самые суровые критики Facebook не утверждают, что человеческие менеджеры Facebook хотели спровоцировать массовое убийство. Руководители в Калифорнии не питали никакой злобы к рохинджа и, по сути, даже не знали об их существовании. Правда сложнее и потенциально более тревожна. В 2016-17 годах бизнес-модель Facebook основывалась на максимальном повышении вовлеченности пользователей, чтобы собирать больше данных, продавать больше рекламы и захватывать большую долю информационного рынка. Кроме того, рост вовлеченности пользователей впечатлял инвесторов, что способствовало росту цен на акции Facebook. Чем больше времени люди проводили на платформе, тем богаче становилась Facebook. В соответствии с этой бизнес-моделью человеческие менеджеры поставили перед алгоритмами компании единственную главную цель: повысить вовлеченность пользователей. Затем алгоритмы методом проб и ошибок выяснили, что возмущение вызывает вовлеченность. Люди с большей вероятностью будут увлечены теорией заговора, наполненной ненавистью, чем проповедью о сострадании или уроком кулинарии. Поэтому в погоне за вовлеченностью пользователей алгоритмы приняли роковое решение распространять возмущение.

В кампаниях по этнической чистке никогда не бывает виновата только одна сторона. Вина лежит на многих ответственных сторонах. Должно быть ясно,