"Супертело" суперкомпьютера

За полвека история вычислительной техники совершила почти полный виток, пройдя путь от больших мейнфреймов с пользовательскими терминалами к персональным компьютерам, а затем вновь вернувшись к очень похожей концепции — облачным вычислениям. Этому немало способствовало быстрое развитие технологий в области связи и тенденция к миниатюризации носимых устройств. Сейчас, вместо того чтобы обрабатывать сложные вычислительные задачи на компактном и потому ограниченном в возможностях ноутбуке или смартфоне, проще, быстрее и дешевле передать исходные данные по широкополосным каналам на значительно более мощный облачный сервер, а потом по тем же каналам скачать готовый результат.

 

Центры обработки данных — огромные, поистине исполинские инженерные сооружения, обеспечивающие работу сложных компьютерных систем. На фото — центр обработки данных Google в штате Орегон. По синим трубам в систему кондиционирования подается холодная вода, по красным она, нагревшись, возвращается к чиллерам.

Но мало кто задумывается о том, что облачные суперкомпьютеры, выполняющие в такой схеме роль мозга, нуждаются, подобно настоящему мозгу, в поддержке «тела» — специальной инфраструктуры центра обработки данных (ЦОД). «Эта инфраструктура создает комфортные условия для работы компьютеров, — объясняет «Популярной механике» заместитель генерального директора, руководитель направления центров обработки данных компании КРОК Руслан Заединов. — ЦОД обеспечивает вычислительные мощности энергией, защищает от возгорания, перегрева, пыли и статического электричества».

Правильное питание

Масштабы ЦОД можно измерять разными единицами — например, квадратными метрами площади машинных залов. Однако среди специалистов приняты другие единицы — это мегаватты потребляемой мощности. «Наш 8-МВт ЦОД «Компрессор» — один из трех самых крупных в России, хотя Сбербанк сейчас строит свой 25-МВт ЦОД, — говорит Руслан Заединов. — Конечно, эти масштабы несравнимы, скажем, с 250-МВт американским ЦОД SuperNAP в Неваде».

Контроль питания. Поскольку качество питания для компьютерного оборудования играет важную роль, центры обработки данных оснащены системой двойного преобразования. Поступающий по кабелю переменный ток преобразуется в постоянный, а затем снова в переменный, но уже со строгими параметрами — заданными частотой и напряжением. Параметры электропитания постоянно контролируются.

Всю эту мощность ЦОД должен обеспечивать непрерывно — в «Компрессоре» используется два независимых ввода по 4 МВт каждый. Однако и сам ЦОД имеет мощную энергетическую структуру — в случае сбоя внешнего питания система энергоснабжения переключается на работу от источников бесперебойного питания (ИБП), работающих от гелевых свинцово-кислотных аккумуляторов.

Их задача — продержаться всего несколько минут, пока не выйдут на рабочий режим постоянно прогретые до рабочей температуры дизельные электростанции (ДЭС) — в «Компрессоре», например, их семь, каждая мощностью 2 МВт. 60-кубовые баки с дизтопливом обеспечивают автономную работу центра в течение суток, хотя при такой работе возможна дозаправка, расширяющая этот срок до любых пределов.

Автономный полет. Источники бесперебойного питания (ИБП) обеспечивают функционирование систем ЦОД от аккумуляторов при отключении внешнего питания в течение 15 минут. Дизельные электростанции выходят на рабочий режим значительно быстрее.

Приятная прохлада

Примерно 30% потребляемой мощности идет на охлаждение компьютерного оборудования. «Крупные центры обработки данных активно внедряют энергоэффективные технологии, — говорит Руслан Заединов. — Ведь экономия всего в 1% в конечном итоге сберегает миллионы долларов в год. Скажем, традиционная температура в машинных залах — 22 °C, однако сейчас наблюдается тенденция к повышению этого значения, что позволяет экономить энергию на охлаждение. Ведь компьютерное оборудование вполне надежно функционирует при температурах и свыше 30 градусов».

В готовности к запуску. Дизельные электростанции — основной автономный источник питания ЦОД. Они постоянно находятся в готовности к запуску, для их выхода на рабочий режим требуется 2−3 минуты. В некоторых ЦОДах используются дизель-генераторы с роторными накопителями энергии (маховиками) — такая схема обеспечивает плавное подключение генератора без скачков мощности.

В ЦОД «Компрессор» используется двухконтурная жидкостная система охлаждения, с водой во внутреннем контуре и раствором этиленгликоля во внешнем. А некоторые особенности конструкции позволяют сэкономить весьма значительное количество энергии — скажем, при температуре ниже +5°С используется только «фрикулинг», то есть просто циркуляция охлаждающей жидкости, отдающей тепло радиаторам охлаждения на крыше, — в московском климате это более половины всего времени, и лишь при более высокой температуре подключаются кондиционеры.

Система кондиционирования. Помимо охлаждения, система прецизионного кондиционирования обеспечивает оптимальную влажность (сухой воздух приводит к накоплению статического заряда, вредного для электроники). Воздух проходит через фильтры, чтобы удалить пыль, способную повредить компьютеры. Жидкостное охлаждение позволяет отводить от компьютеров большое количество тепла даже без включения компрессоров кондиционеров.

«Компрессор» оснащен также аккумулятором холода — цистерной, содержащей 90 т воды. «При сбое внешнего питания, пока запускаются и выходят на рабочий режим дизель-генераторы, от аккумуляторов ИБП работает не только компьютерное оборудование, но и система охлаждения, — объясняет Руслан Заединов. — Но не вся — чтобы не создавать избыточную нагрузку на систему питания в этом режиме, внешние блоки кондиционеров (чиллеры) не работают, и охлаждение осуществляется только за счет циркуляции воды и ее перемешивания с большой массой холодной воды».

Обдув. Воздушные потоки теплого и холодного воздуха разделены. Холодный воздух подается снизу к стойкам с оборудованием, а теплый забирается сверху и поступает в систему охлаждения.

На страже огня

Поскольку в ЦОД находится большое количество источников тепла, центр оснащен системами пожаротушения. В обитаемых помещениях и коридорах это обычные спринклеры, разбрызгивающие воду, а вот в машинных залах такой способ гашения огня неприемлем — вода может нанести электронной аппаратуре серьезный ущерб, который значительно превысит ущерб от пожара.

Как устроен «Компрессор»
Схема центра обработки данных «Компрессор» (название обусловлено местонахождением на территории одноименного завода) компании КРОК. Общая площадь центра составляет 5000 м2, из них 2000 м2 занимают машинные залы, вмещающие 800 стоек с оборудованием (средняя мощность каждой стойки около 6 кВт). Общая мощность электроснабжения ЦОД — 8 МВт. Скорее всего, до срабатывания системы пожаротушения дело даже не дойдет — «Компрессор» оснащен химическими датчиками системы раннего обнаружения возгораний, реагирующими буквально «на запах» — а именно, на продукты разложения полимерной изоляции при перегреве. Эта система способна обнаружить потенциальную опасность и поднять тревогу задолго до того, как из оборудования появится первый дымок, что способно сберечь аппаратуру и предотвратить более крупный ущерб.

Поэтому в машинных залах используется система подачи специального газа (инергена), вытесняющего кислород. Поскольку такая система потенциально опасна для персонала, срабатывает она не сразу, а только после того, как система пожарной сигнализации, основываясь на данных, поступающих от датчиков дыма и температуры, выдаст сигнал о возгорании на диспетчерский пульт ЦОД и получит подтверждение от дежурного, что в машинных залах нет людей (в штатном режиме их там быть не должно).

Но до огня, скорее всего, дело даже не дойдет: «Компрессор» оснащен химическими датчиками системы раннего обнаружения возгораний, реагирующими буквально «на запах», а точнее — на продукты разложения полимерной изоляции при перегреве. Эта система обнаружит и поднимет тревогу задолго до того, как из оборудования появится первый дымок, а в итоге сбережет аппаратуру и предотвратит более крупный ущерб.