Книга Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

G. Исключение человека из процесса принятия решений

89. Исходная посылка большинства правовых, моральных и иных кодексов заключается в том, что когда на карту поставлена жизнь человека или речь идет об иных серьезных последствиях решений для людей, полномочия по принятию решений должны осуществляться людьми. Согласно Гаагской конвенции (IV) любой комбатант должен находиться под командованием «лица, ответственного за своих подчиненных». Клаузулой Мартен-са, давней и имеющей обязательную силу нормой МГП, предусмотрено требование, касающееся применения в вооруженном конфликте «принципа человечности»[69]. Исключение человека из процесса принятия решений создает опасность лишения процесса принятия решений его «человечности».

90. По мнению философа Питера Асаро, в МГП, таким образом, содержится имплицитное требование относительно того, что решения о применении смертоносной силы должны приниматься человеком и что этот процесс не может делегироваться аппаратам. Согласно такой аргументации принятие решения о применении смертоносной силы не человеком является имманентно произвольным и как следствие любая гибель людей в этом случае является произвольным актом лишения жизни[70].

91. Рассмотрение вопроса о БАРС неразрывно связано с вопросом о роли технологии в современном мире. Хотя в современной жизни аппараты помогают принимать многие решения, они в основном используются только в тех случаях, когда есть необходимость обеспечить механическое наблюдение (например, в качестве судьи на линии в спортивных соревнованиях), а не в ситуациях, требующих вынесения ценностных суждений с далеко идущими последствиями (например, в процессе вынесения решений в ходе рассмотрения дел в суде). В качестве более общего доказательства важности прямого контакта между людьми можно сослаться на то, что в правовых системах во всем мире стараются избегать заочных судебных процессов. Разумеется, роботы уже в значительной мере затрагивают нашу жизнь, в том числе и своим воздействием на решения, касающиеся жизни и смерти. Роботизированная хирургия, например, является растущей отраслью медицины, и роботы все шире используются в операциях по спасению жизни после стихийных бедствий[71]. Однако ни в каком из этих случаев роботы не принимают решения, предполагающего убийство, и поэтому БАРС заключают в себе совершенно новую перспективу.

92. Даже если исходить из того, что БАРС – особенно когда они действуют бок о бок с человеком – могут соблюдать требования МПГ, и если можно доказать, что их применение в среднем и в совокупности будет спасать жизни, напрашивается вопрос, не порочно ли изначально оставлять за автономными машинами решение вопроса о том, кого и когда убивать. Озабоченности, изложенные в предшествующих пунктах, связаны прежде всего с защитой гражданского населения. Вопрос в данном случае заключается в том, является ли применение БАРС против кого-либо, включая солдат противника, в принципе приемлемым, поскольку это влечет за собой вынесение решения о применении смертоносной силы автоматизированными системами.

93. Важнейшее соображение состоит в следующем: если ответ на данный вопрос является отрицательным, то никакое другое соображение не может служить обоснованием применения БАРС, независимо от степени технического совершенства их операционных возможностей. Если раньше был выдвинут тот довод, что применение БАРС может привести к вакууму правовой ответственности, то тезис в данном случае заключается в том, что применение БАРС может также имплицировать наличие вакуума моральной ответственности.

94. Такой подход зиждется на убеждении, что решение начать применение смертоносной силы должен где-то принимать человек и в результате субъективизировать (или взять на себя ответственность за) потерю каждой жизни в ходе военных действий как часть дебилеративного процесса человеческого общения. Это справедливо даже для вооруженного конфликта. Делегирование такого процесса машинам еще больше дегуманизи-рует вооруженный конфликт и исключает момент делиберации в тех случаях, когда она может быть практически возможной. Машины лишены нравственности и смертности и в результате не должны иметь власти над людьми при решении вопросов жизни и смерти. Это относится к числу причин, в силу которых были запрещены противопехотные мины[72].

95. Использование таких продиктованных эмоциями терминов, как «роботы-убийцы», вполне можно подвергать критике. Однако нельзя игнорировать силу интуитивных реакций, которые могут быть вызваны применением БАРС. Применение БАРС характеризуют как равносильное отношению к людям, как к «вредителям», подлежащим «истреблению»[73]. Из таких характеристик складывается такой образ БАРС, будто они являются своего рода механизированными пестицидами.

96. Опыт двух мировых войн прошлого столетия может служить объяснением рационального требования, согласно которому люди должны субъек-тивизировать потери во время вооруженного конфликта и тем самым считать себя и свои общества ответственными за такие потери. После этих войн, в ходе которых стало наглядным опустошение, к которому может привести современная технология, люди, лично принимавшие главные военные решения, будучи преисполнены решимости «избавить грядущие поколения от бедствий войны», решили создать Организацию Объединенных Наций в целях обеспечения мира во всем мире и основать ее на принципах прав человека. Хотя вооруженные конфликты сегодня отнюдь не стали явлением прошлого, мир в течение почти 70 лет был избавлен от глобальной войны. Приверженность достижению этой цели можно понимать как следствие долговременного и, по существу, межпоколенческого воздействия настойчивого утверждения принципа ответственности человека за принятие решений, предполагающих совершение убийства.

97. Этот исторический экскурс показывает опасность оценки БАРС по минимальным стандартам, принятым в вооруженном конфликте для людей. Смертные солдаты действительно способны придавать вооруженному конфликту безнравственный характер, но они также имеют возможность придерживаться более высоких ценностей и в некоторых случаях демонстрировать определенную степень милосердия и сострадания. Если на поле боя люди будут заменены системами, которые калиброваны по стандартам действий не ниже тех, что ожидаются от людей, но не имеют способности подняться выше этих минимальных стандартов, то нам может грозить опасность распрощаться с надеждой на лучшее будущее. Способность ликвидировать «возмутителей спокойствия» в любой точке мира простым нажатием кнопки несет в себе опасность сосредоточения внимания только на симптомах нежелательных ситуаций. Это будет отвлекать от работы по устранению или даже предупреждению появления их причин за счет более долговременных, невоенных усилий, которые, хотя и более трудоемкие, могут в конечном итоге принести более долговечные результаты. Таким образом, БАРС могут порождать ложное чувство безопасности у тех, кто их применяет.