Насколько уязвим мир?

Один из способов взглянуть на творчество человека - это процесс вытаскивания шаров из огромной урны. Шары представляют собой идеи, открытия и изобретения. За всю историю человечества мы извлекли множество шаров. Большинство из них были полезны для человечества. Остальные были различными оттенками серого: смесь хорошего и плохого, чистый эффект которой трудно оценить.

Что мы еще не вытащили, так это черный шар: технологию, которая неизменно уничтожает цивилизацию, которая ее изобретает. Это не потому, что мы были особенно осторожны или мудры, когда речь шла об инновациях. Нам просто повезло. Но что, если где-то в урне есть черный шар? Если научные и технологические исследования продолжатся, мы в конце концов вытащим его и не сможем положить обратно. Мы можем изобретать, но не можем не изобретать. Наша стратегия, похоже, заключается в том, чтобы надеяться, что черного шара не существует.

К счастью для нас, самой разрушительной технологией человечества на сегодняшний день - ядерным оружием - овладеть чрезвычайно сложно. Но один из способов подумать о возможных последствиях "черного шара" - это рассмотреть, что произойдет, если ядерные реакции станут проще. В 1933 году физику Лео Сциларду пришла в голову идея ядерной цепной реакции. Более поздние исследования показали, что для создания атомного оружия потребуется несколько килограммов плутония или высокообогащенного урана, а оба эти вещества очень трудно и дорого производить. Однако представьте себе контрфактическую историю, в которой Сцилард понял, что ядерную бомбу можно сделать каким-то простым способом - скажем, над кухонной раковиной, используя кусок стекла, металлический предмет и батарейку.

Кадры крупного плана из Национальной лаборатории Лоуренса Ливермора во время испытаний ядерной бомбы в рамках операции "Чайник" на полигоне в Неваде 7 марта 1955 года

Сцилард столкнулся бы с дилеммой. Если бы он никому не рассказал о своем открытии, то не смог бы помешать другим ученым наткнуться на него. Но если бы он раскрыл свое открытие, то гарантировал бы дальнейшее распространение опасного знания. Представьте себе, что Сцилард доверился своему другу Альберту Эйнштейну, и они решили написать письмо президенту США Франклину Рузвельту, администрация которого в то время запретила все исследования в области ядерной физики за пределами особо охраняемых правительственных объектов. Спекуляции вокруг причины этих жестких мер будут витать в воздухе. Группы ученых задавались вопросом о тайной опасности; некоторые из них догадывались об этом. Неосторожные или недовольные сотрудники правительственных лабораторий могли пропустить информацию, а шпионы могли передать секрет в иностранные столицы. Даже если каким-то чудом секрет не просочится, ученые в других странах обнаружат его самостоятельно.

А может быть, правительство США предпримет меры по ликвидации всех стеклянных, металлических изделий и источников электрического тока за пределами нескольких особо охраняемых военных складов? Такие крайние меры встретили бы жесткую оппозицию. Однако после того, как над несколькими городами поднимутся грибовидные облака, общественное мнение изменится. Стекло, батареи и магниты можно было бы конфисковать, а их производство запретить; однако их части остались бы разбросанными по ландшафту, и в конце концов они попали бы в руки нигилистов, вымогателей или людей, которые просто хотели "посмотреть, что будет", если привести в действие ядерное устройство. В итоге многие места будут разрушены или заброшены. Владение запрещенными материалами будет жестоко караться. За населением будет установлено строгое наблюдение: сети информаторов, рейды спецслужб, бессрочные задержания. Нам останется только попытаться как-то восстановить цивилизацию без электричества и других предметов первой необходимости, которые считаются слишком рискованными.

Таков оптимистический сценарий. В более пессимистичном сценарии закон и порядок будут полностью разрушены, а общество расколется на фракции, ведущие ядерные войны. Дезинтеграция закончится только тогда, когда мир будет разрушен до такой степени, что больше невозможно будет производить бомбы. Но даже в этом случае опасное понимание будет запомнено и передано по наследству. Если цивилизация восстанет из пепла, знания будут лежать в ожидании, готовые наброситься, как только люди снова начнут производить стекло, электрические токи и металл. И даже если бы знания были забыты, они были бы открыты заново, когда возобновились бы исследования в области ядерной физики.

Короче говоря, нам повезло, что создание ядерного оружия оказалось делом нелегким. В тот раз мы вытянули серый шар. И все же с каждым актом изобретения человечество заново тянется к урне.

Предположим, что в урне творчества есть хотя бы один черный шар. Мы называем это "гипотезой уязвимого мира". Интуитивная идея состоит в том, что существует некий уровень технологии, на котором цивилизация почти наверняка будет уничтожена, если не будут реализованы совершенно необычные и исторически беспрецедентные меры превентивной полиции и/или глобального управления. Наша основная цель не в том, чтобы утверждать, что гипотеза верна - мы считаем этот вопрос открытым, хотя, учитывая имеющиеся доказательства, было бы неразумно быть уверенным в ее ложности. Вместо этого мы хотим сказать, что гипотеза полезна тем, что помогает нам вынести на поверхность важные соображения о макростратегической ситуации человечества.

Вышеописанный сценарий - назовем его "легкие ядерные бомбы" - представляет собой один из видов потенциального черного шара, когда отдельным людям или небольшим группам становится легко произвести массовое уничтожение. Учитывая разнообразие человеческих характеров и обстоятельств, для любого неосмотрительного, аморального или саморазрушительного действия всегда найдется некоторая часть людей ("апокалиптический остаток"), которые решат предпринять это действие - будь то по мотивам идеологической ненависти, нигилистического разрушения или мести за воспринимаемую несправедливость, как часть какого-то вымогательского плана или из-за заблуждений. Существование этого апокалиптического остатка означает, что любое достаточно легкое средство массового уничтожения практически наверняка приведет к разрушению цивилизации.

Это один из нескольких типов возможных черных шаров. Второй тип - это технология, которая создает сильные стимулы для могущественных акторов, чтобы вызвать массовое уничтожение. И снова мы можем обратиться к ядерной истории: после изобретения атомной бомбы началась гонка вооружений между США и Советским Союзом. Эти две страны накопили ошеломляющие арсеналы; к 1986 году вместе они имели более 60 000 ядерных боеголовок - более чем достаточно, чтобы уничтожить цивилизацию.

Если бы существовал вариант "безопасного первого удара", взаимный страх мог бы легко привести к тотальной войне.

К счастью, во время холодной войны у мировых ядерных сверхдержав не было сильных стимулов для развязывания ядерного Армагеддона. Однако некоторые стимулы для этого у них все же были. В частности, существовали стимулы для того, чтобы заниматься балансированием на грани войны; а в кризисной ситуации существовал определенный стимул нанести удар первыми, чтобы упредить потенциально обезоруживающий удар противника. Многие политологи считают, что важным фактором, объясняющим, почему холодная война не привела к ядерному холокосту, было развитие к середине 1960-х годов более надежного потенциала "второго удара" у обеих сверхдержав. Способность арсеналов обеих стран пережить ядерный удар другой страны и затем нанести ответный удар уменьшила стимул для первого нападения.

Но теперь рассмотрим контрфактический сценарий - "безопасный первый удар" - в котором некая технология позволяет полностью уничтожить противника до того, как он сможет ответить, оставив его неспособным нанести ответный удар. Если бы такая возможность "безопасного первого удара" существовала, взаимный страх мог бы легко привести к тотальной войне. Даже если ни одна из сторон не желает уничтожения другой стороны, одна из них, тем не менее, может быть вынуждена нанести удар первой, чтобы предотвратить риск того, что страх другой стороны может заставить ее нанести такой первый удар. Мы можем сделать контрфактический сценарий еще хуже, предположив, что соответствующее оружие легко спрятать; это сделает невозможным для сторон разработку надежной схемы проверки сокращения вооружений, которая могла бы разрешить их дилемму безопасности.

Изменение климата может проиллюстрировать третий тип черного шара; назовем этот сценарий "худшим глобальным потеплением". В реальном мире антропогенные выбросы парниковых газов, вероятно, приведут к повышению средней температуры от 3,0 до 4,5 градусов Цельсия к 2100 году. Но представьте, что параметр чувствительности климата Земли был бы иным, чем сейчас, так что те же самые выбросы углерода вызвали бы гораздо большее потепление, чем предсказывают ученые в настоящее время - повышение, скажем, на 20 градусов. Чтобы усугубить ситуацию, представьте, что ископаемое топливо было еще более богатым, а чистые энергетические альтернативы - более дорогими и технологически сложными, чем они есть на самом деле.

В отличие от сценария "безопасного первого удара", в котором есть влиятельный субъект, имеющий сильные стимулы для принятия сложных и чрезвычайно разрушительных мер, сценарий "худшего глобального потепления" не требует такого субъекта. Все, что требуется, это большое количество индивидуально незначимых действующих лиц - потребителей электроэнергии, водителей - у которых есть стимулы делать вещи, которые вносят очень незначительный вклад в то, что в совокупности становится проблемой, разрушающей цивилизацию. Общим в этих двух сценариях является то, что существуют стимулы, которые побуждают широкий круг нормально мотивированных субъектов к действиям, разрушающим цивилизацию.

Если гипотеза об уязвимом мире окажется верной, это будет плохой новостью. Однако, в принципе, существует несколько вариантов ответа, которые могли бы спасти цивилизацию от технологического черного шара. Одним из них было бы полное прекращение вытягивания шаров из урны, прекращение всего технологического развития. Однако это вряд ли реально; и даже если бы это можно было сделать, это было бы чрезвычайно дорого, вплоть до того, что само по себе стало бы катастрофой.

Другим теоретически возможным ответом было бы фундаментальное изменение человеческой природы для устранения остатков апокалипсиса; мы могли бы также устранить любую тенденцию среди влиятельных игроков рисковать цивилизационным разрушением, даже если это отвечает жизненно важным интересам национальной безопасности, а также любую тенденцию среди масс отдавать предпочтение личным удобствам, когда это наносит незаметный вред какому-то важному глобальному благу. Такую глобальную реорганизацию предпочтений, по-видимому, очень трудно осуществить, и она будет сопряжена с определенными рисками. Стоит также отметить, что частичный успех в такой реорганизации предпочтений не обязательно приведет к пропорциональному снижению уязвимости цивилизации. Например, уменьшение остаточного апокалипсиса на 50 процентов не снизит риск от сценариев "легкой ядерной бомбы" вдвое, поскольку во многих случаях любой одинокий человек может в одиночку уничтожить цивилизацию. Таким образом, мы сможем значительно снизить риск только в том случае, если апокалиптический остаток будет практически полностью ликвидирован во всем мире.

Таким образом, остается два варианта того, как обезопасить мир от возможности того, что в урне окажется черный шар: чрезвычайно надежная полицейская служба, которая может помешать любому человеку или небольшой группе совершить крайне опасные незаконные действия; и два варианта - сильное глобальное управление, которое может решить самые серьезные проблемы коллективных действий и обеспечить надежное сотрудничество между государствами - даже если у них есть сильные стимулы к отступлению от соглашений или отказу подписать их с самого начала. Пробелы в управлении, устраняемые этими мерами, являются двумя "ахиллесовыми пятами" современного мирового порядка. Пока они остаются незащищенными, цивилизация остается уязвимой перед технологическим черным шаром. Однако до тех пор, пока такое открытие не будет извлечено из урны, легко не замечать, насколько мы уязвимы.

Давайте рассмотрим, что потребуется для защиты от этих уязвимостей.

Представьте, что мир оказался в сценарии, схожем с "легким ядерным оружием". Скажем, кто-то открывает очень простой способ массового уничтожения, информация об этом открытии распространяется, а материалы повсеместно доступны и не могут быть быстро изъяты из обращения. Чтобы предотвратить разрушения, государства должны будут достаточно тщательно следить за своими гражданами, чтобы иметь возможность перехватить любого, кто начнет готовить акт массового уничтожения. Если технология "черного шара" будет достаточно разрушительной и простой в использовании, даже один человек, уклоняющийся от сети наблюдения, будет совершенно неприемлем.

Сопротивление "метке свободы" может ослабнуть, когда несколько крупных городов будут стерты с лица земли.

Чтобы представить себе, как может выглядеть действительно интенсивный уровень наблюдения, рассмотрим следующий эскиз "высокотехнологичного паноптикона". Каждый гражданин будет снабжен "меткой свободы" (оруэлловский подтекст, конечно, намеренный, чтобы напомнить нам о полном спектре способов, которыми может быть применена такая система). Метка свободы может носиться на шее и быть оснащена разнонаправленными камерами и микрофонами, которые будут непрерывно передавать зашифрованное видео и аудио на компьютеры, интерпретирующие данные в режиме реального времени. При обнаружении признаков подозрительной активности сигнал передавался бы на одну из нескольких "станций мониторинга патриотов", где "специалист по свободе" просматривал бы его и определял соответствующие действия, например, связывался бы с носителем метки через динамик на метке - чтобы потребовать объяснений или попросить о лучшем обзоре. Свободоискатель может направить группу быстрого реагирования или, возможно, полицейский беспилотник для проведения расследования. Если владелец метки отказывается отказаться от запрещенной деятельности после неоднократных предупреждений, власти могут арестовать его или ее. Гражданам не разрешалось снимать метку, за исключением мест, оборудованных соответствующими внешними датчиками.

В принципе, такая система может иметь сложную систему защиты частной жизни и может редактировать данные, раскрывающие личность, такие как лица и имена, если это не требуется для расследования. Инструменты искусственного интеллекта и человеческий надзор могли бы внимательно следить за соблюдением свободы граждан, чтобы предотвратить злоупотребление ими своими полномочиями. Создание такого паноптикона потребует значительных инвестиций. Но благодаря снижению цен на соответствующие технологии оно может вскоре стать технически осуществимым.

Это не то же самое, что быть политически осуществимым. Сопротивление таким шагам, однако, может ослабнуть, когда несколько крупных городов будут стерты с лица земли. Вероятно, политика, которая ради предотвращения новой атаки предполагает массовое вторжение в частную жизнь и нарушение гражданских прав, например, заключение в тюрьму 100 невинных людей на каждого настоящего заговорщика, встретит горячую поддержку. Но когда цивилизационной уязвимости не предшествуют или не сопровождаются такие неопровержимые доказательства, политическая воля к таким решительным превентивным действиям может никогда не проявиться.

Или снова рассмотрим сценарий "безопасного первого удара". Здесь государственные субъекты сталкиваются с проблемой коллективных действий, и неспособность решить ее означает разрушение цивилизации по умолчанию. С новым черным шаром проблема коллективных действий почти наверняка будет представлять собой экстремальные и беспрецедентные вызовы - однако государствам часто не удавалось решить гораздо более простые проблемы коллективных действий, о чем свидетельствуют следы войны, покрывающие историю человечества с головы до ног. Поэтому, по умолчанию, цивилизация оказывается разрушенной. Однако при эффективном глобальном управлении решение почти тривиально: просто запретить всем государствам разрушительно использовать черный шар. (Под эффективным глобальным управлением мы подразумеваем мировой порядок с одним субъектом принятия решений - "синглетоном". Это абстрактное условие, которое может быть выполнено с помощью различных механизмов: мирового правительства; достаточно мощного гегемона; очень надежной системы межгосударственного сотрудничества. Каждый механизм сопряжен со своими трудностями, и мы не беремся утверждать, какой из них лучше).

Некоторые технологические "черные шары" могут быть решены только с помощью превентивной полиции, в то время как некоторые потребуют только глобального управления. Некоторые, однако, потребуют и того, и другого. Рассмотрим биотехнологический черный шар, который достаточно силен, чтобы одно злонамеренное использование могло вызвать пандемию, которая убьет миллиарды людей - ситуация типа "легкой ядерной бомбы". В этом сценарии было бы неприемлемо, если бы хоть одно государство не создало механизм, необходимый для непрерывного наблюдения за своими гражданами, чтобы предотвратить злонамеренное использование с практически идеальной надежностью. Государство, отказавшееся внедрять необходимые гарантии, стало бы провинившимся членом международного сообщества, сродни "несостоявшемуся государству". Аналогичный аргумент применим к таким сценариям, как "худшее глобальное потепление", при котором некоторые государства могут быть склонны бесплатно воспользоваться дорогостоящими усилиями других. Тогда потребуется эффективный институт глобального управления, который заставит каждое государство внести свою лепту.

Все это не кажется очень привлекательным. Система тотального наблюдения или институт глобального управления, способный навязать свою волю каждому государству, могут иметь очень плохие последствия. Улучшенные средства социального контроля могут помочь защитить деспотические режимы от восстания; а слежка может позволить гегемонистской идеологии или нетерпимому мнению большинства навязать себя во всех аспектах жизни. Глобальное управление, между тем, может уменьшить полезные формы межгосударственной конкуренции и разнообразия, создавая мировой порядок с единственной точкой отказа; и, будучи настолько отдаленным от индивидуумов, такой институт может восприниматься как лишенный легитимности и более подверженный бюрократическому склерозу или политическому дрейфу в сторону от общественных интересов.

Тем не менее, как бы трудно многим из нас не было с этим смириться, усиление наблюдения и глобального управления может иметь и различные хорошие последствия, помимо стабилизации уязвимости цивилизации. Более эффективные методы социального контроля могут снизить уровень преступности и смягчить необходимость суровых уголовных наказаний. Они могут способствовать созданию атмосферы доверия, позволяющей развивать новые формы социального взаимодействия. Глобальное управление могло бы предотвратить все виды межгосударственных войн, решить многие экологические и другие проблемы общего пользования, а со временем, возможно, способствовать расширению чувства космополитической солидарности. Очевидно, что существуют весомые аргументы за и против движения в любом направлении, и мы не предлагаем здесь судить о балансе этих аргументов.

А как насчет вопроса о времени? Даже если бы мы всерьез обеспокоились тем, что в урне изобретений находится черный шар, нам, возможно, не нужно было бы прямо сейчас устанавливать более строгое наблюдение или глобальное управление. Возможно, мы могли бы предпринять эти шаги позже, если и когда гипотетическая угроза станет ясно видна.

Однако нам следует усомниться в целесообразности выжидательного подхода. Как мы видели, на протяжении всей холодной войны две сверхдержавы жили в постоянном страхе перед ядерным уничтожением, которое могло произойти в любой момент по случайности или в результате какого-либо нарастающего кризиса. Этот риск можно было бы существенно снизить, просто избавившись от всего или большей части ядерного оружия. Однако, спустя более полувека, мы все еще видим лишь ограниченное разоружение. До сих пор мир оказался не в состоянии решить эту самую очевидную из проблем коллективного действия. Это не внушает уверенности в том, что человечество быстро разработает эффективный механизм глобального управления, даже если в нем возникнет явная необходимость.

Разработка системы "тоталитаризма под ключ" означает риск, даже если ключ не повернут

Даже если бы человек испытывал оптимизм по поводу того, что в конечном итоге соглашение может быть достигнуто, международные проблемы коллективных действий могут долгое время не поддаваться решению. Потребуется время, чтобы объяснить, почему такое соглашение необходимо, провести переговоры по урегулированию и выработать детали, а также создать его. Но промежуток времени между тем, как риск становится очевидным, и тем моментом, когда необходимо принимать стабилизационные меры, может быть коротким. Поэтому, возможно, не стоит полагаться на спонтанное международное сотрудничество, которое спасет положение, как только серьезная уязвимость станет очевидной.

Ситуация с превентивной полицией в некоторых отношениях похожа. Сложный глобальный паноптикон не может быть создан в одночасье. Для внедрения такой системы потребуются многие годы, не говоря уже о времени, необходимом для создания политической поддержки. Тем не менее, уязвимые места, с которыми мы сталкиваемся, могут оказаться не слишком заблаговременными. На следующей неделе группа ученых может опубликовать в журнале Science статью, в которой будет рассказано об инновационной технике в области синтетической биологии. Два дня спустя популярный блогер может написать пост, в котором объяснит, как новый инструмент может быть использован кем угодно для массового уничтожения. При таком сценарии необходимо будет практически немедленно включить интенсивный социальный контроль. Было бы слишком поздно начинать разработку архитектуры наблюдения, когда конкретная уязвимость стала очевидной.

Возможно, мы могли бы заранее разработать возможности для интрузивного наблюдения и перехвата в реальном времени, но не использовать эти возможности на начальном этапе в максимальной степени. Наделив цивилизацию способностью к чрезвычайно эффективному превентивному полицейскому контролю, мы, по крайней мере, приблизились бы к стабильности. Но разработка системы "тоталитаризма под ключ" означает риск, даже если ключ не повернут. Можно попытаться смягчить этот риск, нацелившись на систему "структурированной прозрачности", которая предусматривает защиту от злоупотреблений. Система может работать только с разрешения множества независимых заинтересованных сторон и предоставлять только ту конкретную информацию, которая законно необходима тому или иному лицу, принимающему решение. Возможно, нет никаких фундаментальных препятствий для создания системы наблюдения, которая была бы одновременно высокоэффективной и устойчивой к подрыву. Насколько вероятно, что это будет достигнуто на практике - это, конечно, другой вопрос.

Учитывая сложность этих потенциальных общих решений проблемы риска технологического черного шара, лидерам и политикам, возможно, имеет смысл сначала сосредоточиться на частичных решениях и низко висящих плодах - исправлении конкретных областей, в которых возникновение серьезных рисков представляется наиболее вероятным, например, биотехнологических исследований. Правительства могут укрепить Конвенцию по биологическому оружию, увеличив ее финансирование и предоставив ей полномочия по проверке. Власти могут усилить надзор за биотехнологической деятельностью, разработав более эффективные способы наблюдения за учеными и отслеживания потенциально опасных материалов и оборудования. Например, чтобы предотвратить генную инженерию "на скорую руку", правительства могут ввести требования по лицензированию и ограничить доступ к некоторым передовым инструментам и информации. Вместо того, чтобы разрешать любому желающему покупать собственную машину для синтеза ДНК, такое оборудование можно ограничить небольшим числом поставщиков, за которыми ведется тщательный контроль. Власти также могут усовершенствовать систему информирования о нарушениях, чтобы поощрять сообщения о потенциальных злоупотреблениях. Они могут рекомендовать организациям, финансирующим биологические исследования, шире смотреть на потенциальные последствия такой работы.

Тем не менее, преследуя такие ограниченные цели, следует помнить, что предлагаемая ими защита охватывает лишь особые подмножества сценариев и может быть временной. Если вы можете повлиять на макропараметры превентивной полиции или глобального управления, вам следует подумать о том, что фундаментальные изменения в этих сферах могут быть единственным способом стабилизировать нашу цивилизацию против возникающих технологических уязвимостей.