Что вы знаете о технологической сингулярности?

Вы наверняка слышали о концепции, известной как «технологическая сингулярность» — туманное событие, которое должно произойти в не столь отдаленном будущем. Неопределенность, которая витает вокруг этого события, привела к дикой спекуляции отдельными фактами, спутанности концепции и откровенному отрицанию. Давайте посмотрим, с какими подводными камнями приходится сталкиваться в процессе изучения этой самой «сингулярности».

В двух словах, технологическая сингулярность — это термин, который используется для описания теоретического момента во времени, когда появится искусственный интеллект и превзойдет человеческий. Термин популяризовался, благодаря стараниям писателя Вернора Винджа, но основная заслуга введения термина в массы принадлежит математику Джону фон Неймну, который говорил (цитата Станислава Лема) о «таком ускорении прогресса технологий и режима человеческой жизни, когда история гонки технологий сворачивается в определенную сингулярность (точку), за которой, как мы знаем, человеческие дела продолжаться не будут».

Под этим «продолжаться не будут» фон Нейман имел в виду потенциальную потерю человеческого контроля в контексте технологий. Сегодня спасибо за это можно заранее сказать искусственному интеллекту или, если быть точным, «рекурсивно-улучшаемому искусственному интеллекту» (RIAI), который приведет к возникновению искусственного сверхинтеллекта (ASI).

Поскольку мы не можем предугадать природу и намерения искусственного сверхинтеллекта, мы обращаемся к социологическому горизонту событий технологической сингулярности — концепции, которая открыта для широких масс, в результате чего возникает непонимание. Вот ряд из них.

Я бы не поставил на это утверждение ни гроша. Закон Мура, похоже, не работает на все сто, а прорывы в области искусственного интеллекта и картографирования мозга случаются один за одним. Нет никаких непреодолимых технологических или принципиальных препятствий, которые нас ждут.

И чего не понимают многие скептики, так это того, что мы едва-едва вошли в эпоху искусственного интеллекта, времени, когда мощные, но узкие системы включают множество доменов, принадлежащих людям. У этих систем невероятный потенциал, как с экономической, так и с любой другой точки зрения. Сверхинтеллект появится, хотят люди этого или нет, но скорее всего станет продуктом мегакорпораций и военных разработок.

На самом деле, этот подводный камень может оказаться худшим в понимании людей, поскольку он ведет к отрицанию сингулярности. Кроме молекулярного нанотехнологичного оружия, ASI представляет большую угрозу для человечества (особенно если попадет не в те руки). Угроза нашему существованию пока не маячит на горизонте, но она будет и, возможно, приведет к катастрофе. И запомните мои слова: придет время, когда хихиканья скептиков и риторика на тему отсутствия сингулярности будут сравнимы с отрицанием изменений климата в наше время.

Нет. ASI едва ли будет осознавать. Нам нужно увидеть эти системы, их будет много, многие из них будут напоминать Watson или Deep Blue. Они будут работать с головокружительной скоростью, решать миллиарды задач в секунду, но у них будет ветер в голове.

Отметим, что вероятность того, что ASI будет действительно разумным, есть. Возможно, он даже самостоятельно придет к самосознанию. Но даже если это произойдет, он все равно будет разительно отличаться от всего, что мы знаем. Едва ли субъективный машинный опыт сравнится с нашим собственным, и «канты», и «декарты» из машины не выйдут.

Кроме того, это заблуждение тесно связано с первым. Некоторые скептики утверждают, что сингулярности не будет, поскольку мы никогда не сможем сымитировать сложность человеческого сознания. Но это утверждение не имеет смысла. ASI будет мощным, хитроумным и опасным, но не благодаря наличию рассудка.
Искусственный сверхинтеллект будет дружелюбным

В среде любителей обсудить сингулярность ходит анекдот: по мере роста интеллекта, растет эмпатия и доброжелательность. В связи с этим, если искусственный интеллект будет все умнее и умнее, значит он будет добрее и добрее.

Фигушки. Все совсем не так. Во-первых, такой порядок рассуждений свидетельствует об определенном уровне саморефлексии и самоанализа со стороны ASI (которых, собственно, не будет). Во-вторых, подразумевает наличие этического императива, который близок нашему. Однако мы не можем полностью предсказать или узнать размышления принципиально чужого машинного ума. Также не узнаем, что для машины представляет собой нравственность. Кроме того, если интеллект запрограммировать на определенный набор приоритетов, машина будет им неотвязно следовать. Как отмечал теоретик искусственного интеллекта Элизер Юдковский, «искусственный интеллект не ненавидит тебя, и не любит, однако ты сделан из атомов, которые можно использовать».

С тех пор, как термин набрал популярность, мы приготовились к получению разных видов сингулярностей — некоторые из них не имеют ничего общего с возникновением ASI. Мы ждем экономической сингулярности и сингулярности «лезвия бритвы». Некоторые приравнивают сингулярность к радикальному продлению жизни, загрузке сознания, трансгуманизму и слиянию человека с машиной. Виноваты, отчасти, последователи взглядов Рэя Курцвейла: они считают, что сингулярность — это стабильно ускоряющийся рост технологий, в том числе и ИИ, который приведет к неконтролируемому взрыву открытий.

Некоторые говорят, что нам не стоит переживать по поводу сингулярности, поскольку к тому времени, когда она наступит, мы будем «тесно сотрудничать» с машинами. Мы будем в них. Это будет сингулярность — для всех общая, и пусть никто не уйдет обиженным.

Первая проблема этой теории в том, что человеческая киборгизация и/или загрузка пойдет гораздо более медленными темпами, чем достижения в сфере ИИ (по большей части из-за этических ограничений). Вторая проблема в том, что непосредственный источник RIAI будет крайне локализован. Это будет одна система (или множество систем в тандеме, распределяющие нагрузку), которая будет постоянно улучшаться или работать над достижением определенной конфигурации (так называемый сценарий «жесткого взлета» сингулярности). Другими словами, мы будем за пределами сингулярности, прохожими, зеваками.

Конечно, ASI может решить слиться с таким количеством людей, с которым ему заблагорассудится — но это совсем мрачный сценарий.
Мы будем как боги

Если мы переживем сингулярность, и если предположить, что для нас будет место в мире, которым правят машины, мы однозначно будем обладать беспрецедентными полномочиями. Возможно, мы станем богоподобным ульем. Но только коллективно — как индивидуумы мы вряд ли на что будем способны. Пока сложно сказать, как много интеллекта возьмет на себя один разум. Футуролог Михаил Анисимов считает, что радикальное расширение сознания человека приведет к побочным эффектам:

«Например, к безумию. Мозг человека — чрезвычайно тонкий и настроенный механизм. Большое количество изменений в этом механизме приводит к так называемому «сумасшествию». Есть много различных типов безумия — гораздо больше, чем типов здравого мышления. Изнутри безумие кажется абсолютно нормальным, поэтому нам, вероятно, доставит массу неудобств попытка убедить безумных людей в том, что они безумны».

Даже в случае совершенного здравомыслия побочные эффекты могут привести к судорогам, информационной перегрузке и, возможно, крайним состояниям эго — отчуждению или эгоцентризму. Умные люди не зря чувствуют себя отдаленными от мира, а самые умные люди, вероятно, будут вообще для нас «не люди».
После сингулярности вещи особо не изменятся

Вряд ли. Подумайте о технологической сингулярности как о кнопке «reset» для всего, что у нас есть — вплоть до каждой молекулы на Земле. Пока законы физики и теоретические расчеты что-то позволяют, машина, вероятно, это осуществит. Мы не можем предположить, что будет за пределами сингулярности — это загадка, которую едва ли решает даже научная фантастика.