Книга Роботы-убийцы против человечества. Киберапокалипсис сегодня - Елена Ларина

В то же время как этот принцип стремится обуздать нарушения международного гуманитарного права, усиливая ответственность военачальника, он плохо подходит для полностью автономного оружия. С одной стороны, «ответственность за команду», вероятно, можно было бы применить, если бы командующий знал потенциальные способности этого оружия выполнять незаконные действия против гражданских лиц и все же опрометчиво применил полностью автономное оружие.

С другой стороны, если бы военачальник понял (как только робот начал действовать), что робот совершает преступление, то военачальник был бы неспособен перепрограммировать робота в режиме реального времени, чтобы предотвратить преступление. Потому что робот разработан так, чтобы действовать полностью автономно. Кроме того (как будет обсуждено более подробно ниже), военачальник не может эффективно наказать робота после того, как тот совершит преступление. Таким образом, кроме случаев опрометчивого поведения «ответственность за команду» нельзя применять, и военачальник не будет считаться ответственным за действия полностью автономного оружия.

Противоправное действие, совершенное полностью автономным оружием, может быть результатом недоработки программного обеспечения. Однако программист с полной уверенностью не может предсказать решение, которое полностью автономный робот примет на поле боя. Поэтому считать программиста ответственным будет справедливо, если описанная выше ситуация произошла в результате небрежности со стороны команды программистов при написании компьютерной программы. Кроме того, чтобы считать программиста преступно ответственным в соответствии с международным гуманитарным правом, нужно доказать, что программист преднамеренно запрограммировал противоправное действие робота.

Некоторые эксперты отмечают возможность трактовать ответственность производителя за качество выпускаемой продукции как потенциальную модель для введения ответственности изготовителей полностью автономного оружия за его противоправные действия. Если бы изготовители могли бы считаться строго ответственными за недостатки в этом оружии, то ответственность изготовителей стала бы стимулом для производства очень надежных полностью автономных систем вооружения. Однако режим ответственности за качество выпускаемой оружейной продукции тоже противоречит верному решению, потому что производители оружия, как правило, не наказываются за то, как их оружие в дальнейшем используется.

К сожалению, возложение ответственности на любого из описанных выше действующих лиц (военачальника, программиста, изготовителя) не удержит самого робота от противоправных действий. По определению, полностью автономное оружие работает без человеческого контроля и возможности вмешательства в его работу. А отсутствие эмоций у полностью автономного оружия не позволит ему испытать раскаяние, если кто-то вместо самого робота будет наказан за его действия.

Также есть мнение, что само полностью автономное оружие могло бы считаться ответственным за незаконное убийство гражданских лиц. Однако в ближайшие 10-20 лет это невозможно сделать из-за недостаточного уровня развития робототехники. Робота можно «наказать», уничтожить его или ограничить его программное обеспечение. Однако это вряд ли удовлетворят жертв робота, ищущих возмездия. Кроме того, если робот не понимает, что будет наказан за то, что нарушил закон, его решения не будут находиться под влиянием угрозы ответственности.

3.1.6. Проблема понижения порога принятия решения о начале войны

Достижения в военной технологии позволили вооруженным силам значительно уменьшить непосредственное человеческое участие в ведении военных действий. Изобретение беспилотных летательных аппаратов (дронов) позволило США проводить военные операции в Афганистане, Пакистане, Йемене, Ливии без страха перед человеческими жертвами со своей стороны. Из-за этого фактора постепенная замена людей на полностью автономное оружие может сделать принятие решения начать войну более легким, а бремя потерь в зоне военного конфликта перейдет к гражданским лицам. Автоматизированное оружие изменяет политические расчеты при ведении войны. Потенциальная угроза жизни гражданских лиц вражеского государства может быть обесценена или даже проигнорирована при принятии решения об использовании военной силы. Результат применения вооруженных дронов показывает, к чему может привести применение оружия с еще большей автономией.

Военные эксперты утверждают, что беспилотные самолеты уже понизили порог для принятия решения о начале войны, облегчили политическим лидерам принятие решения на применение военной силы. Кроме того, быстрое увеличение количества беспилотных систем может притупить инстинктивное чувство неприятия убийства. Беспилотные системы создают физическое и эмоциональное «расстояние» от поля боя и поэтому делают убийство более легким.

Действительно, некоторые операторы дронов сравнивают атаки дрона с компьютерной игрой. Поэтому они чувствуют себя эмоционально отделенными от акта убийства. Война становится более безопасной и легкой, когда солдаты удалены от ужасов войны и рассматривают врага не как людей, а как человеческие фигурки на экране. И есть очень реальная опасность потерять средство устрашения, которое обеспечивают ужасы войны. Полностью автономное оружие создает те же самые проблемы.

В то время как некоторые достижения в военной технологии способствуют предотвращению войны (например, ракетно-ядерное оружие), разработка полностью автономного оружия сделает войну более вероятной и приведет к непропорциональным потерям среди мирных жителей. Поэтому полностью автономное оружие никогда не должно появиться в арсеналах вооруженных сил.

3.2. Доводы сторонников полностью автономного оружия

Сторонники полностью автономного оружия признали, что такие новые роботы должны были бы выполнить международное гуманитарное право. Поэтому предложили множество механизмов соблюдения гуманитарного права, которые, по мнению сторонников полностью автономного оружия, смогут предотвратить любые нарушения законов войны. Два из этих предложений будут обсуждены ниже.

3.2.1. «Нравственный регулятор» робототехника Рональда Аркина

Рональд Аркин (Ronald Arkin), робототехник из Технологического института штата Джорджия, сформулировал «самую всестороннюю архитектуру» для механизма соблюдения международного права при использовании полностью автономного оружия. Применение оружия должно быть ограничено минимально необходимым уровнем LOW (закон войны, law of war) и правилами использования летального оружия в бою ROE (rules of engagement), прежде чем оно сможет использоваться автономной системой. Он утверждает, что такие ограничения могут быть достигнуты при помощи так называемого «нравственного регулятора» (ethical governor).

Нравственный регулятор – сложное предложение, которое требует, чтобы роботы перед открытием огня использовали двухступенчатый процесс оценки ситуации. Во-первых, робот должен оценить информацию, которую он получил при помощи своих систем, и определить, запрещено или нет применение оружия в соответствии с международным гуманитарным правом и указанными выше правилами. Если нарушается требование различия (робот должен отличать живую силу противника от гражданских лиц), применение оружия блокируется. Если это требование не нарушается, подготовка к применению оружия может продолжаться, если атака цели необходима согласно оперативному приказу.