Книга Нексус. Краткая история информационных сетей от каменного века до искусственного интеллекта - Юваль Ной Харари

сумки в машину, платок упал, и я получила сообщение о том, что из-за нарушения закона об обязательном ношении хиджаба моя машина подвергается "систематической конфискации" сроком на пятнадцать дней. Я не знала, что это значит. Я поспрашивала и через родственников узнала, что это означает, что я должна обездвижить свой автомобиль на пятнадцать дней". Показания Марьям свидетельствуют о том, что ИИ отправляет свои угрожающие сообщения в течение нескольких секунд, и у человека нет времени на то, чтобы просмотреть и утвердить процедуру.

Наказания выходили далеко за рамки обездвиживания или конфискации автомобилей. В отчете Amnesty от 26 июля 2023 года говорится, что в результате массовой слежки "бесчисленное количество женщин было отстранено или исключено из университетов, им запретили сдавать выпускные экзамены, лишили доступа к банковским услугам и общественному транспорту". Предприятия, которые не следили за соблюдением закона о хиджабе среди своих сотрудников или клиентов, также пострадали. В одном типичном случае сотрудница парка развлечений "Страна счастья" к востоку от Тегерана была сфотографирована без хиджаба, и это изображение распространилось в социальных сетях. В наказание "Страна счастья" была закрыта иранскими властями. В целом, по данным Amnesty, власти "закрыли сотни туристических объектов, отелей, ресторанов, аптек и торговых центров за несоблюдение законов об обязательном ношении хиджаба".

В сентябре 2023 года, в годовщину смерти Махсы Амини, парламент Ирана принял новый, более строгий закон о хиджабе. Согласно новому закону, женщины, не носящие хиджаб, могут быть наказаны крупными штрафами и тюремным заключением сроком до десяти лет. Им грозят дополнительные наказания, включая конфискацию автомобилей и средств связи, запрет на вождение, вычеты из зарплаты и пособий, увольнение с работы и запрет на доступ к банковским услугам. Владельцам бизнеса, не соблюдающим закон о хиджабе среди своих сотрудников или клиентов, грозит штраф в размере до трех месяцев от прибыли, а также запрет на выезд из страны и участие в общественной или онлайн-деятельности на срок до двух лет. Новый законопроект направлен не только против женщин, но и против мужчин, которые носят "откровенную одежду, демонстрирующую части тела ниже груди или выше лодыжек". Наконец, закон предписывает иранской полиции "создавать и укреплять системы искусственного интеллекта для выявления лиц, совершивших противоправное поведение, с помощью таких инструментов, как стационарные и мобильные камеры". В ближайшие годы многие люди, возможно, будут жить в условиях тотальной слежки, по сравнению с которой Румыния Чаушеску покажется либертарианской утопией.

 

РАЗНОВИДНОСТИ НАБЛЮДЕНИЯ

Говоря о слежке, мы обычно имеем в виду государственные аппараты, но чтобы понять, что такое слежка в XXI веке, следует помнить, что она может принимать и другие формы. Например, ревнивые партнеры всегда хотели знать, где находятся их супруги в каждый момент времени, и требовали объяснений за любое небольшое отклонение от привычного распорядка. Сегодня, вооружившись смартфоном и дешевым программным обеспечением, они могут легко установить супружескую диктатуру. Они могут контролировать каждый разговор и каждое движение, записывать телефонные разговоры, отслеживать сообщения в социальных сетях и поиск на веб-страницах и даже активировать камеры и микрофоны телефона супруга, чтобы он служил шпионским устройством. Американская организация National Network to End Domestic Violence обнаружила, что более половины домашних обидчиков используют подобные технологии "преследования". Даже в Нью-Йорке супруги могут оказаться под наблюдением и ограничениями, как если бы они жили в тоталитарном государстве.

Все больший процент сотрудников - от офисных работников до водителей грузовиков - также подвергаются слежке со стороны своих работодателей. Начальство может точно определить, где находятся сотрудники в любой момент, сколько времени они проводят в туалете, читают ли они личные письма на работе и как быстро выполняют каждое задание. Корпорации также следят за своими клиентами, желая знать, что им нравится и не нравится, предсказать будущее поведение, оценить риски и возможности. Например, автомобили следят за поведением своих водителей и передают полученные данные алгоритмам страховых компаний, которые повышают страховые взносы для "плохих водителей" и снижают для "хороших". Американский ученый Шошана Зубофф назвала эту постоянно расширяющуюся систему коммерческого мониторинга "капитализмом наблюдения".

Помимо всех этих разновидностей нисходящего наблюдения, существуют и одноранговые системы, в которых люди постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает всемирную систему наблюдения, которая следит за отелями, арендой жилья, ресторанами и туристами. В 2019 году ею пользовались 463 миллиона путешественников, которые просмотрели 859 миллионов отзывов и 8,6 миллиарда мест проживания, ресторанов и туристических достопримечательностей. Именно сами пользователи, а не какой-то сложный алгоритм искусственного интеллекта, определяют, стоит ли посетить тот или иной ресторан. Люди, которые ели в ресторане, могут оценить его по шкале от 1 до 5, а также добавить фотографии и письменные отзывы. Алгоритм Tripadvisor просто агрегирует данные, вычисляет средний балл ресторана, ранжирует его по сравнению с другими подобными заведениями и выставляет результаты на всеобщее обозрение.

Алгоритм одновременно оценивает и гостей. За публикацию отзывов или статей о путешествиях пользователи получают 100 баллов; за загрузку фотографий или видео - 30 баллов; за сообщения на форуме - 20 баллов; за оценку заведений - 5 баллов; за голосование за чужие отзывы - 1 балл. Затем пользователи ранжируются от 1-го (300 баллов) до 6-го (10 000 баллов) уровня и получают соответствующие привилегии. Пользователи, нарушающие правила системы - например, оставляющие расистские комментарии или пытающиеся шантажировать ресторан, написав необоснованный плохой отзыв, - могут быть наказаны или вовсе исключены из системы. Это и есть взаимное наблюдение. Каждый постоянно оценивает другого. Tripadvisor не нужно вкладывать деньги в камеры и шпионские программы или разрабатывать сверхсложные биометрические алгоритмы. Почти все данные предоставляются и почти всю работу выполняют миллионы пользователей-людей. Работа алгоритма Tripadvisor заключается лишь в агрегировании оценок, полученных людьми, и их публикации.

Tripadvisor и подобные ему системы наблюдения предоставляют ценную информацию миллионам людей каждый день, облегчая планирование отпусков и поиск хороших отелей и ресторанов. Но при этом они также сместили границу между частным и общественным пространством. Традиционно отношения между клиентом и официантом были относительно частным делом. Зайти в бистро означало войти в полуприватное пространство и установить полуприватные отношения с официантом. Если не было совершено какого-то преступления, то, что происходило между гостем и официантом, было только их делом. Если официант был груб или сделал расистское замечание, вы могли устроить скандал и, возможно, посоветовать друзьям не ходить туда, но мало кто еще об этом узнал бы.

Одноранговые сети наблюдения уничтожили это чувство приватности. Если персоналу не удастся угодить клиенту, ресторан получит плохой отзыв, который может повлиять на решение тысяч потенциальных клиентов в ближайшие годы. К лучшему или