Книга Человек + машина - Джеймс Уилсон

Установление границ

Один из подходов сводится к тому, чтобы установить ограничения внутри процесса, основанного на искусственном интеллекте. Это позволит контролировать наступление нежелательных последствий. В качестве примера можно привести чат-бот «Tay» компании Microsoft. В 2016 году система «Tay» была внедрена в Twitter в качестве бота, который должен был обучаться, взаимодействуя с другими пользователями. За несколько часов бот научился использовать нецензурные, расистские и сексистские выражения, поэтому создатели сразу же удалили его[134]. Какие способы защиты могла использовать компания Microsoft в данном случае: фильтры по ключевым словам, фильтры по контенту или программу, отслеживающую настроения пользователей? В сфере промышленного производства также полезно установить границы: что системе искусственного интеллекта разрешено делать, а что нет. При этом необходимо, чтобы об этих ограничениях знали все участники процесса. Как правило, эксперт по устойчивости определяет границы, ограничения и нежелательные последствия работы системы искусственного интеллекта, а затем разрабатывает границы, чтобы она не «сбивалась» с правильного пути.

Использование контрольных точек, роль которых играют люди

Девяносто два процента специалистов по автоматизации не доверяют роботам полностью. Одна из проблем — неуверенность людей в том, что робот «думает» или планирует делать, — они считают машину непостижимым черным ящиком. По мнению этих же специалистов (76%), лучшее решение данной проблемы сводится к тому, чтобы использовать визуальный вывод аналитических данных, а также панель, отображающую другие показатели[135]. Это простое решение может снизить непрозрачность системы и обеспечить информирование людей на должном уровне. В этом случае ключевую роль играет специалист по разъяснению. Даже если невозможно в полной мере понять, как работает система искусственного интеллекта, некоторое представление о ее внутреннем устройстве может принести большую пользу. Специалисты по разъяснению должны понимать, что следует знать людям, а также чем должна поделиться система.

Максимальное сокращение «зоны моральной деформации»

У таких сервисов, как Uber, Lyft и Mechanical Turk компании Amazon, программное обеспечение с элементами искусственного интеллекта дополняет некоторые управленческие функции: распределяет задачи, обеспечивает обратную связь и формирует рейтинги, а также помогает людям отслеживать успехи в достижении поставленных целей. Повышение эффективности управления с помощью систем искусственного интеллекта — необходимое нововведение в тех компаниях, бизнес-модель которых подразумевает масштабирование и наём сотен тысяч сотрудников во всем мире. Однако если можно разгрузить определенные виды деятельности, переложив выполнение задач на искусственный интеллект, то ответственность за управление ими переложить нельзя.

Это сложный вопрос, требующий осмотрительного и вдумчивого подхода к выбору структуры бизнес-процессов. Когда топ-менеджеры с возможностями, расширенными за счет искусственного интеллекта, меняют конфигурацию взаимодействия между руководством, сотрудниками и обществом, компании должны знать о более масштабных, оказывающих сильное воздействие и потенциально нежелательных последствиях, сопутствующих этим переменам. Необходимы новые механизмы, гарантирующие, что люди не попадут под удар, если использование искусственного интеллекта будет признано неудачным. Однако чтобы разработать такие механизмы, сначала нужно понять концепцию зоны моральной деформации.

Зона деформации — это часть автомобиля, которая должна принять на себя удар, чтобы защитить водителя и пассажиров. Иногда именно люди (сотрудники и клиенты) оказываются уязвимы из-за сбоя системы искусственного интеллекта, что подрывает доверие к ней.

Этнографы Мадлен Клэр Элиш и Тим Хванге ввели термин «зона моральной деформации». Проводя исследования, они обнаружили, что в нашем цифровом мире контроль над определенными сервисами, такими как райдшеринг (поиск попутчиков для путешествия на автомобиле), распределяется среди множества участников процесса в лице людей и машин, хотя ответственность за социальные и юридические последствия лежит, прежде всего, на человеке.

В опубликованном в 2016 году отчете Элиш приводит реальный пример зоны моральной деформации[136]. Она воспользовалась сервисом райдшеринга, чтобы добраться до аэропорта в Майами. Водитель выбрал первый предложенный маршрут, и они отправились в путь. Элиш уснула, а после пробуждения обнаружила, что водитель, у которого еще не было опыта использования данной платформы, отвез ее в место, находившееся в 20 минутах ходьбы от пассажирского терминала. Чтобы Элиш не опоздала на рейс, водителю пришлось отменить следующий заказ, предложенный приложением, и по сути бесплатно отвезти Элиш, хотя он не был обязан делать это. Тем не менее водитель поступил именно так, и Элиш успела на свой рейс.

В этой ситуации сервис подвел как водителя, так и клиента, однако простого способа зафиксировать это неприятное событие не было. Основные варианты обратной связи оказались рассчитаны на то, чтобы водитель и пассажир оценили друг друга. Но чья вина была в том, что приложение выдало неправильный адрес, водитель не знал, куда едет, а Элиш уснула и не скорректировала маршрут?

Элиш так объясняет суть зоны моральной деформации:

В рамках крайне сложной автоматизированной системы человек может случайно или умышленно стать тем элементом, который несет самое тяжкое бремя моральной и юридической ответственности при ее сбое. Суть метафоры с зоной моральной деформации сводится не просто к поиску «козла отпущения». Этот термин призван привлечь внимание к тому, как автоматизированные и автономные системы регулярно уклоняются от ответственности. Тогда как зона деформации в автомобиле предназначена для защиты водителя, зона моральной деформации защищает репутацию технологической системы[137].

В случае управляемых алгоритмами краудсорсинговых платформ люди-операторы также могут стать тем элементом системы, который несет ответственность за ее действия, — например, получая обратную связь от клиента, когда на самом деле ошибку допустила система. Кроме того, водители берут на себя основное бремя расходов по обслуживанию автомобилей (страхование, бензин и ТО), а также несут юридическую ответственность как представители приложения по поиску попутчиков, если что-то случится с их автомобилем.