Кто будет отвечать за этику самоуправляемых автомобилей?

Вы движетесь по шоссе, как вдруг на оживленную дорогу выбегает человек. Вокруг вас движутся автомобили, и у вас есть доля секунды, чтобы принять решение: попытаться объехать человека и создать риск аварии? Продолжать движение в надежде, что он успеет? Тормозить? Как вы оцените шансы, если у вас на заднем сиденье будет пристегнут ребенок? Во многом, это классическая «нравственная дилемма», проблема вагонетки. У нее есть миллион самых разных вариантов, которые позволяют выявить человеческое предубеждение, но суть одна.

Вы находитесь в ситуации, на кону которой жизнь и смерть, простого выбора нет, и ваше решение, по сути, определит, кому жить, а кому умереть.

Новая работа MIT, опубликованная на прошлой неделе в журнале Nature, пытается придумать рабочее решение проблемы вагонетки, привлекая миллионы добровольцев. Эксперимент начался в 2014 году и вполне удался, получив больше 40 миллионов ответов из 233 стран, что делает его одним из крупнейших проведенных нравственных исследований.

Человек может принимать такие решения несознательно. Трудно взвесить все этические системы и нравственные предпосылки, когда твой автомобиль мчится по дороге. Но в нашем мире решения все чаще принимаются алгоритмами, и компьютеры запросто могут реагировать быстрее нас.

Гипотетические ситуации с самоуправляемыми автомобилями — это не единственные нравственные решения, которые предстоит принимать алгоритмам. Медицинские алгоритмы будут выбирать, кому получать лечение с ограниченными ресурсами. Автоматизированные беспилотники будут выбирать, сколько «побочного ущерба» допустимо в отдельном военном столкновении.

«Решения» проблемы вагонетки так же разнообразны, как и сами проблемы. Каким образом машины будут принимать моральные решения, когда основы морали и нравственности не приняты универсально и могут не иметь решений? Кому определять, правильно или неправильно поступает алгоритм?

Краудсорсинговый подход, принятый учеными Moral Machine, достаточно прагматичный. В конце концов, чтобы общественность приняла самоуправляемые автомобили, она должна принять моральный фундамент, стоящий за их решениями. Будет не очень хорошо, если специалисты по этике или юристы придут к решению, которое будет неприемлемо или недопустимо для обычных водителей.


Результаты приводят к любопытному заключению о том, что нравственные приоритеты (а значит и алгоритмические решения, который могут быть приняты людьми) зависят от того, в какой части мира вы находитесь.

Прежде всего, ученые признают, что невозможно узнать частоту или характер этих ситуаций в реальной жизни. Попавшие в аварию люди очень часто не могут сказать, что конкретно произошло, и диапазон возможных ситуаций исключает простую классификацию. Поэтому, чтобы проблему стало возможно отследить, ее приходится разбивать на упрощенные сценарии, искать универсальные моральные правила и принципы.

Когда вы проходите опрос, вам предлагается тринадцать вопросов, которые требуют простого выбора: да или нет, пытаясь сузить ответы до девяти факторов.

Должна ли машина свернуть на другую полосу или продолжать движение? Должны ли вы спасать молодых людей, а не старых? Женщин или мужчин? Животных или людей? Должны ли вы попытаться спасти как можно больше жизней или один ребенок «стоит» двух пожилых? Спасти пассажиров в автомобиле, а не пешеходов? Тех, кто переходит дорогу не по правилам, или тех, кто по правилам? Должны ли вы спасать людей, которые более крепкие физически? А как насчет людей с более высоким социальным статусом, таких как врачи или бизнесмены?

В этом суровом гипотетическом мире кто-то должен умереть, а вы будете отвечать на каждый из этих вопросов — с разной степенью энтузиазма. Однако принятие этих решений также раскрывает глубоко укоренившиеся культурные нормы и предубеждения.

Обработка огромного набора данных, полученных учеными в ходе опроса, дает универсальные правила, а также любопытные исключения. Три наиболее преобладающих фактора, усредненные по всему населению, выражались в том, что каждый предпочитал спасать больше жизней, нежели меньше, людей, а не животных, и молодых, а не старых.

Вы можете согласиться с этими пунктами, но чем глубже вы задумываетесь над ними, тем более тревожными будут моральные выводы. Больше респондентов предпочли спасти преступника вместо кошки, но в целом предпочли спасти собаку, а не преступника. В среднем по миру быть старым оценивается выше, чем быть бездомным, но бездомных людей спасали реже, чем жирных.

И эти правила не были универсальными: респонденты из Франции, Великобритании и США отдавали предпочтение молодым, тогда как респонденты из Китая и Тайваня охотнее спасали пожилых людей. Респонденты из Японии предпочитали спасать пешеходов, а не пассажиров, а в Китае предпочитают пассажиров пешеходам.

Исследователи обнаружили, что могут сгруппировать ответы по странам в три категории: «Запад», преимущественно Северная Америка и Европа, где нравственность базируется в основном на христианской доктрине; «Восток» — Япония, Тайвань, Ближний Восток, где преобладают конфуцианство и ислам; «Южные» страны, включая Центральную и Южную Америку, наряду с сильным французским культурным влиянием. В Южном сегменте более сильные предпочтения пожертвовать женщинами, чем где-либо еще. В Восточном сегменте больше склонность к спасению молодых людей.

Фильтрация по разным атрибутам респондента дает бесконечные интересные варианты. «Очень религиозные» респонденты с небольшой вероятностью предпочтут спасение животного, но как религиозные, так и нерелигиозные респонденты выражают примерно равное предпочтение спасения людей с высоким социальным статусом (хотя можно сказать, что это противоречит некоторым религиозным доктринам). Мужчины и женщины предпочитают спасать женщин, но мужчины все-таки менее склонны к этому.

Никто не утверждает, что это исследование каким-то образом «решает» все эти веские моральные проблемы. Авторы исследования отмечают, что краудсорсинг онлайн-данных все же включает предвзятость. Но даже при большом размере выборки количество вопросов было ограничено. Что будет, если риски будут меняться в зависимости от принятого вами решения? Что, если алгоритм сможет вычислить, что у вас был всего 50-процентный шанс убить пешеходов, учитывая скорость, с которой вы двигались?

Эдмонд Авад, один из авторов исследования, выразил осторожность в отношении чрезмерной интерпретации результатов. Дискуссия, по его мнению, должна перетекать в анализ рисков — кто больше или меньше подвержен риску — вместо того, чтобы решать, кому умереть, а кому нет.

Но самым важным результатом исследования стала дискуссия, которая разгорелась на его почве. Поскольку алгоритмы начинают принимать все более важные решения, влияющие на жизнь людей, крайне важно, чтобы у нас было постоянное обсуждение этики ИИ. Проектирование «искусственной совести» должно включать мнение каждого. Хотя ответы не всегда будет просто найти, лучше все же попытаться сформировать нравственные рамки для алгоритмов, не позволяя алгоритмам самостоятельно формировать мир без человеческого контроля.