Мой бизнес - Франшизы. Рейтинги. Истории успеха. Идеи. Работа и образование
Поиск по сайту

Мобильные центры обработки данных. Оперативный ЦОД — «мобильный» или «модульный»? APC — мобильная InfraStruXure Express

Прежде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот — и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания — нарушение дизайна…

Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку — перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться — то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит — все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться — нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?

Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.

Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, — быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД

Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.

Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

  • основной ЦОД — возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;
  • резервный ЦОД (РЦОД) — экономичное решение для создания дата-центра в сжатые сроки;
  • расширение основного или резервного ЦОД — возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;
  • start-UP ЦОД — возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;
  • временный ЦОД — возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.

Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).

Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).

В технологическом плане все решения условно можно разде лить на две полярные группы — высокой удельной мощности и высокой мобильности.

Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД — быстрота развертывания.

Решения второго класса сосредоточены именно на увеличении показателя мобильности — при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.

Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM-200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений — предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.

Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).

Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC — мобильная InfraStruXure Express

Именно компании APC в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure, которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Рис.1. Первый дата-центр на колёсах - InfraStruXure Express

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N+1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.

Впоследствии модернизацией этого решения начал заниматься партнер APC — компания Pacific Voice & Data. В обновленной версии, получившей название PVD Mobile Data Center, в 53-футовом контейнере размещалось уже 16 шкафов 42U, удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.

Интересно, что в 2009 году компания APC вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

Рис.2. APC DataPod

В конце 2006 года компания Sun Microsystem представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

Рис.3. Проект BlackBox компании Sun Microsystem

В этом решении для охлаждения стоек использовалась водяная система, поэтому предполагалось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот конструктив шкафов достаточно оригинален — 40U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при помощи специальной тележки, которая подсовывается под основание шкафа, а ручка тележки играет роль домкрата. Основное новшество — организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая — между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера — этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.

Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время — особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности — скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров — как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD. На сегодняшний день доступно две модификации — с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.

Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение — Integrated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Рис.4. «Ледяной куб» ICE Cube в походном состоянии.

Проект ICE Cube был реализован в двух форм-факторах — стандартном 20-ти и в большом — 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55U, то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения — этому способствовало как жидкостное охлаждение так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и по сути представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE-совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.

Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения — общий холодный коридор. Как и в решении Sun, чиллер не входил в комплект подставки и устанавливался рядом.

А вот самым маленьким МЦОД можно назвать детище компании NAAT. Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно — обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Рис.5. SunGard Mobile Data Center (MDC) компании SunGard.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

    Portable Modular Data Center (PMDC) — 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure. Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек — от 8 (для 20-футового) и 17 высотой 47U (для 40-футового).

Рис.6. Portable Modular Data Center компании IBM в 20-футовом контейнере.

    Enterprise Modular Data Center (EMDC) — модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.

    High Density Zone (HDZ) — модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения — Smart Shelter Container (SSC) — представлен компанией AST. Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братомблизнецом J. Емкость — 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейнфреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO-контейнеров как в моноблочном исполнении, так и в виде мультиконтейнерных сборок. Проектный уровень эксплуатационной надежности — TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник — такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга — вплоть до 4 этажей — и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).

Еще одна компоновка 40-футового контейнера — от компании Altron. Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения —полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы — Tier III.

Компания Verari презентовала систему FOREST (Flexible, Open, Reliable, Energy efficient, Scalable and Transportable — гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД — не ниже TIER III. Единственное, что почему-то не приводится в явном виде, — количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения — в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM-200), фанкойлы и мониторинг

Рис.7. В решении Verari FOREST всячески подчёркивается экологичность дата-центра.

Не осталась в стороне и компания Hewlett Packard, представившая свое видение МЦОД — Performance Optimized Datacenter (POD) — рис. 8.

Рис.8. HP POD готов к началу установки оборудования

Система исполнена в контейнере 20 или 40 футов, емкость — до 22 стоек 50U при удельной мощности на стойку в 27 кВт. Компоновка стоек — длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей — четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.

Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor. Как и в случае с решением AST, это два контейнера — сервисный и серверный. Серверный находится снизу, сервисный — сверху (видимо, это сделано исходя из количества посещений каждого из них — в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует — Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует — возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.

Компания Lampertz, известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room, было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный — для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rital в качестве внутреннего наполнения предполагается инженерный комплекс на базе Rimatrix5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.

Компания Bull, видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42U может достигать до 40 кВт. Выпускаются две версии — в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая — 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.

Упомянем также и компанию ActivePower, которая предлагает систему PowerHouse. Хотя это и не полностью законченное решение МЦОД, однако его можно использовать в качестве сервисного контейнера, например, с продуктами Sun, HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные — в 40-футовых. Самая интересная деталь такого решения — применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).

Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Рис.9. МЦОД «СИТРОНИКС Датериум» в полной готовности - рама со стойками сдвинута влево для обеспечения удобства установки ИТ-оборудования

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум»(рис. 9). Главной его отличительной чертой является компактность и завершенность — дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42U, при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность — 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N+1). Одна из главных особенностей данного МЦОД — стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.

В контейнере организовано два входа: один для заноса оборудования, второй — для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.

Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N+1 или 2N (в зависимости от модели).

Существуют две модификации решения — базовая MDC-20-T2 (уровень эксплуатационной надежности — TIER II, мощность устанавливаемого оборудования — до 32 кВт, компоновка в стандартном контейнере) и MDC-20-T3 (уровень эксплуатационной надежности — TIER III, мощность ИТ-оборудования — до 40 кВт, контейнер собственного изготовления).

Компания «Черус» предложила свое решение для МЦОД — CHERUS-MDC-24-1. В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N+1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров — установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III.

МЦОД: концептуальные решения

Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).

Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн — для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.

Тем не менее основные дата центры Google, как и Microsoft, построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint) и конструктивно схожи с решениями HP и Sun. При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.

А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий — комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД — перспективы и тенденции

Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации — если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO-контейнеры, ИБП, стойки и пр.).

Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример — ICE Cube).

Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа — мобильность, компактности и оперативность — всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,

главный инженер проектов,

отдел инженерных систем компании

«СИТРОНИКС»

«СЕТИ И БИЗНЕС» . №2 (51) 2010

Миниатюризация и мобильность - новый качественный этап развития ИТ-решений.
Не стали исключения и дата-центры, которые теперь обрели возможность передвижения и сверхбыстрого развертывания.
О мобильных центрах обработки данных (МЦОД) и пойдет речь в данной статье

Прежде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот - и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания - нарушение дизайна…
Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку - перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться - то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит - все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться - нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?
Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.
Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, - быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД
Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.
Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

  • основной ЦОД - возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;
  • резервный ЦОД (РЦОД) - экономичное решение для создания дата-центра в сжатые сроки;
  • расширение основного или резервного ЦОД - возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;
  • start-UP ЦОД - возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;
  • временный ЦОД - возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.
Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).
Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).
В технологическом плане все решения условно можно разделить на две полярные группы - высокой удельной мощности и высокой мобильности.
Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощ¬ного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД - быстрота развертывания.
Решения второго класса сосредоточены именно на увеличении показателя мобильности - при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.
Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM-200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений - предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.
Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).
Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC - мобильная InfraStruXure Express
Именно компании АРС в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure, которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N+1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.
Впоследствии модернизацией этого решения начал заниматься партнер АРС - компания Pacific Voice & Data . В обновленной версии, получившей название PVD Mobile Data Center, в 53-футовом контейнере размещалось уже 16 шкафов 42U, удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.
Интересно, что в 2009 году компания АРС вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

В конце 2006 года компания Sun Microsystems представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

В этом решении для охлажде¬ния стоек использовалась водя¬ная система, поэтому предполага¬лось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот кон¬структив шкафов достаточно ори¬гинален - 40U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при помощи специальной тележки, которая подсовывается под осно¬вание шкафа, а ручка тележки играет роль домкрата. Основное новшество - организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая - между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера - этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.
Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время - особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности - скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров - как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD . На сегодняшний день доступно две модификации - с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.
Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение - Integrated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Проект ICE Cube был реализован в двух форм-факторах - стандартном 20-ти и в большом - 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55U, то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения - этому способствовало как жидкостное охлаждение, так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и, по сути, представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE-совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.
Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения - общий холодный коридор. Как и в решении Sun, чиллер не входил в комплект подставки и устанавливался рядом.
А вот самым маленьким МЦО Д можно назвать детище компании NAAT . Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно - обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

  • Portable Modular Data Center (PMDC) - 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure. Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек - от 8 (для 20-футового) и 17 высотой 47U (для 40-футового).
  • Enterprise Modular Data Center (EMDC) - модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.
  • High Density Zone (HDZ) - модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения - Smart Shelter Container (SSC) - представлен компанией AST. Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братом¬близнецом. Емкость - 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейн-фреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO-контейнеров как в моноблочном исполнении, так и в виде мульти-контейнерных сборок. Проектный уровень эксплуатационной надежности - TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник - такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга - вплоть до 4 этажей - и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).
Еще одна компоновка 40-футового контейнера - от компании Altron . Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения - полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы - Tier III.

Компания Verari презентовала систему FOREST (Flexible, Open, Reliable, Energy efficient, Scalable and Transportable - гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД - не ниже TIER III. Единственное, что почему-то не приводится в явном виде, - количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения - в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM-200), фанкойлы и мониторинг.
Не осталась в стороне и компания Hewlett Packard , представившая свое видение МЦОД - Performance Optimized Datacenter (POD) - рис. 8.

Система исполнена в контейнере 20 или 40 футов, емкость - до 22 стоек 50U при удельной мощности на стойку в 27 кВт. Компоновка стоек - длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей - четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.
Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor . Как и в случае с решением AST, это два контейнера - сервисный и серверный. Серверный находится снизу, сервисный сверху (видимо, это сделано исходя из количества посещений каждого их них - в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует - Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует - возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.
Компания Lampertz , известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room, было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный - для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rittal в качестве внутреннего наполнения предпо¬лагается инженерный комплекс на базе Rimatrix5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.
Компания Bull , видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42U может достигать до 40 кВт. Выпускаются две версии - в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая - 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.
Упомянем также и компанию ActivePower , которая предлагает систему PowerHouse . Хотя это и не полностью законченное решение МЦОД, однако, его можно использовать в качестве сервисного контейнера, например, с продуктами Sun, HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные - в 40-футовых. Самая интересная деталь такого решения - применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).
Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум» (рис. 9). Главной его отличительной чертой является компактность и завершенность - дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42U, при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность - 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N+1). Одна из главных особенностей данного МЦОД - стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.
В контейнере организовано два входа: один для заноса оборудования, второй - для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура, благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.
Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N+1 или 2N (в зависимости от модели).
Существуют две модификации решения - базовая MDC-20-T2 (уровень эксплуатационной надежности - TIER II, мощность устанавливаемого оборудования - до 32 кВт, компоновка в стандартном контейнере) и MDC-20-T3 (уровень эксплуатационной надежности - TIER III, мощность ИТ-оборудования - до 40 кВт, контейнер собственного изготовления).
Компания «Черус» предложила свое решение для МЦОД - CHERUS-MDC-24-1. В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N+1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров - установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III.

МЦОД: концептуальные решения
Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).
Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн - для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.
Тем не менее, основные дата-центры Google, как и Microsoft, построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint) и конструктивно схожи с решениями HP и Sun. При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.
А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий - комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД - перспективы и тенденции
Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации - если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO-контейнеры, ИБП, стойки и пр.).
Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример - ICE Cube).
Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа - мобильность, компактность и оперативность - всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,
главный инженер проектов,
отдел инженерных систем компании
«СИТРОНИКС Информационные
Технологии Украина»
[email protected]

15.08.2008 Константин Величко

Во многих ситуациях мобильное решение является либо единственно возможным, либо более эффективным по сравнению со стационарным центром обработки данных. Это быстрое и модульное решение более удобно для развертывания ЦОД, чем установка серверов и настройка систем заново при перемещении центра. В силу целого ряда факторов мобильные контейнерные ЦОД на российском рынке предлагают не вендоры ИТ или инженерного оборудования, а системные интеграторы.

О планах по созданию мобильных центров обработки данных уже заявили многие мировые компании. Патентные заявки на мобильный контейнер с серверной инфраструктурой подали Google и Sun Microsystems, хотя первая не планирует заниматься их активным продвижением или поставкой на рынок. Среди других вендоров, представивших аналогичные решения, необходимо отметить Dell, IBM и Rackable Systems Inc. Однако пионерами были не они, а американские вооруженные силы, которые давно используют контейнеры с предустановленными и готовыми к работе серверами. Это быстрое и модульное решение более удобно для развертывания ЦОД, чем установка серверов и настройка систем при перемещении центра.

Перспективной областью применения мобильных центров обработки данных является их использование в чрезвычайных ситуациях. Очевид-ное преимущество состоит в скорости развертывания компьютерной и коммуникационной инфраструктуры для помощи местным властям и облегчения координации работы служб, занятых в мероприятиях по устранению катастрофы. Например, компания Cisco после урагана «Катрина» разработала для Американской службы спасения несколько действительно мобильных контейнерных ЦОД. Один из них был задействован прошлой осенью в Южной Калифор-нии во время масштабных лесных пожаров.

Между тем Microsoft строит стационарный мега-ЦОД, состоящий из 220 морских контейнеров. Стоимость проекта - около полумиллиарда долларов. Центр разместится на окраине Чикаго, в Нордлейке, на площади около 52 тыс. м 2 . В эксплуатацию его планируется ввести в конце лета текущего года. По сообщению Майка Маноса, директора Microsoft по сервисам ЦОД, каждый контейнер рассчитан на установку от 1000 до 2000 серверов. Всего может быть установлено 440 тыс. серверов Windows, в то время как обычные центры обработки данных позволяют разместить на той же площади от 40 до 80 тыс. серверов (http://www.computerworld.com/action/article.do?command=viewArticleBasic&articleId=9075519). Для энергоснабжения и охлаждения оборудования построено три электрических подстанции общей мощностью 198 МВт (согласно информации новостного сайта http://www.datacenterknowledge.com), причем на создание электрической и механической инфраструктуры, обеспечивающей охлаждение ЦОД, было потрачено примерно 82% от запланированных средств.

Несмотря на огромные размеры и работу в круглосуточном режиме, открытие нового центра обработки данных не вызовет серьезного спроса на ИТ-персонал. Его обслуживанием будут заниматься всего 30 человек, в том числе системные администраторы, охранники и другие сотрудники. По утверждению Microsoft, чем меньше персонала в центре обработки данных, тем выше надежность его работы, так как от 20% до 50% системных отказов вызваны «ошибками администраторов» (human administrative error). Тем временем Google заявила, что в ее новом ЦОД стоимостью 600 млн долларов, построенном в г. Каунсил Блаффс, штат Айова, и готовящемся к открытию в следующем году, будет работать не менее 200 сотрудников.

Если Microsoft сосредоточена на строительстве ЦОД для собственных нужд, то Dell, Sun, Rackable и IBM предлагают контейнерные решения своим заказчикам (Sun MD, ранее Blackbox, от Sun Microsystems, RACK от Rackable, Forest от Verari Systems и iDataPlex от IBM). Все компании заявляют о серьезных планах в отношении контейнерных центров обработки данных. Чем же так привлекает данный рынок все эти серверные компании? Вывод очевиден: контейнерные центры обработки данных обеспечивают более высокую плотность размещения оборудования, их обслуживание требует меньше персонала ИТ по сравнению с традиционным ЦОД, а в ряде случаев мобильный ЦОД - единственно возможный вариант создания инфраструктуры ИТ.

ПЕРСПЕКТИВЫ МОБИЛЬНЫХ ЦОД В РОССИИ

Российский бизнес вынужден решать те же проблемы, что и компании во всем мире, с той лишь разницей, что выбираются иные приоритеты. Например, если на Западе проблемой № 1 является увеличение энергопотребления и, соответственно, высокие затраты на обеспечение питания и охлаждения, то у нас, в силу более умеренных тарифов на электроэнергию, это пока не ключевой фактор. Вместе с тем, ограниченная доступность энергетических ресурсов и неразвитость инфраструктуры (в том числе дорожной и телекоммуникационной) оказывает более существенное влияние, чем, например, в Америке. Таким образом, при проектировании и строительстве центров обработки данных российским компаниям приходится сталкиваться с несколькими ограничениями. Во-первых, с дефицитом потенциально пригодных для ЦОД площадей, даже с учетом их возможной реконструкции. Во-вторых, с недостатком энергетических мощностей, связанным с морально устаревшей инфраструктурой энергосистемы страны. В-третьих, с ростом энергопотребления и тепловыделения оборудования, для обеспечения охлаждения которого требуются все новые энергетические мощности. И, наконец, в-четвертых, с нехваткой квалифицированного персонала.

На этом фоне в последние годы наблюдается сущест-венный рост инвестиций в развитие корпоративной инфраструктуры ИТ, особенно в наиболее зависимых от информационных технологий отраслях, в первую очередь, в банковской и телекоммуникационной сфере, в добывающей и перерабатывающей промышленности. Наращивание инфраструктуры неизбежно ведет к увеличению эксплуатационных расходов, к тому же она требует грамотного и квалифицированного управления. Для многих компаний критичными становятся риски, связанные с информационной безопасностью. Данные необходимо защищать как для обеспечения доступности важных сервисов, так и для защиты от утечек, недобросовестного использования и т.д.

Еще одна значимая тенденция связана с развитием потребительского рынка и активной экспансией компаний в регионы. Такие задачи решают сейчас многие крупные многофилиальные банки, торговые сети, строительные предприятия, промышленные холдинги и другие. Продвижение идет главным образом за счет поглощения более мелких региональных игроков, поскольку найти ресурсы для создания полноценного филиала или отделения «с нуля» очень непросто. В результате задача обеспечения и сохранения централизованного контроля за деятельностью всех филиалов и подразделений компании превращается в «головную боль» как для руководителя предприятия, так и для директора ИТ, поскольку никто из них не хочет, чтобы инфраструктура стала препятствием в развитии бизнеса.

Для оптимизации инфраструктуры нужны новые со-временные решения. Любопытно, что в силу целого ряда факторов новые подходы, в частности мобильные контейнерные ЦОД, предлагают не вендоры ИТ или инженерного оборудования, а системные интеграторы. Дело в том, что именно они находятся на «переднем крае» и общаются непосредственно с заказчиками. К тому же российские заказчики вряд ли захотят приобретать ЦОД, жестко «привязанный» к оборудованию одного поставщика. И наконец, все прекрасно понимают, что любой ЦОД, мобильный или стационарный, - это не только инфраструктура ИТ, а прежде всего, сложный комплекс строительных решений, инженерных систем, кабельной проводки и интегрированных инструментов управления для обеспечения надежной работы оборудования ИТ. Пока большинство компаний-интеграторов, пытающихся продвигать контейнерные ЦОД, идут по пути разработки индивидуального решения для кон-кретного заказчика. Однако на рынке начали появляться и типовые решения (см. врезку «Российский ЦОД в контейнере»).

Другой вопрос, готовы ли российские корпоративные заказчики принять мобильный ЦОД, или «ЦОД в коробке», в качестве реальной альтернативы традиционным серверным комнатам и более масштабным центрам обработки данных? Информации о российских проектах, связанных с контейнерными ЦОД, не так много. Несколько лет назад Sun Microsystems привезла контейнерное решение Blackbox в Россию, но дальнейшая его судьба неизвестна. По некоторым сведениям, этот контейнер используется компанией МТС. В свое время Сбербанк пытался создать передвижной «офис на колесах» на базе инкассаторского броневика. Такой офис мог бы обслуживать несколько точек в одном районе, но, видимо, руководство банка сочло стационарное местное отделение более эффективным решением, несмотря на усугубляющиеся проблемы с персоналом, арендой, охраной и т.д.

ПРЕИМУЩЕСТВА МОБИЛЬНОГО ЦОД

Во многих ситуациях мобильное решение является либо единственно возможным, либо более эффективным по сравнению со стационарным центром обработки данных. Во-первых, мобильный, или контейнерный, ЦОД эффективен в тех случаях, когда инфраструктуру ИТ требуется развернуть на удаленной площадке. С такими задачами обычно сталкиваются нефтяные, газодобывающие и телекоммуникационные компании. Во-вторых, мобильный ЦОД может быть основным для офисов, местоположение которых часто меняется. Здесь потенциальные области применения весьма разнообразны -начиная от задач министерства обороны и служб МЧС и заканчивая строительными площадками, где создается временная инфраструктура. В-третьих, мобильный ЦОД - эффективное решение для резервирования основного центра обработки данных. В принципе, и основной, и резервный ЦОД могут быть контейнерными. Если, например, компании предстоит масштабный переезд в новый офис, то на время переезда резервному мобильному ЦОД передаются функции основного. Кроме уже упомянутых задач, мобильный ЦОД может применяться для расширения инфраструктуры ИТ. При активной экспансии в регионы или поглощении других компаний он дает существенный выигрыш: новые торговые площадки и филиалы открываются без задержек, а приобретенные активы оперативно интегрируются в единую информационную инфраструктуру.

Преимущества эксплуатации мобильного центра обработки данных тоже весомы. Мобильность подразумевает не только перемещение с места на место, но дает возможность выбора места размещения и, в случае необходимости, быстрой миграции на другую площадку. Его развертывание занимает в 7-10 раз меньше времени, чем ввод в эксплуатацию стационарного ЦОД, к тому же все системы заранее установлены, налажены и протестированы. Экономические плюсы состоят в возможности размещения поблизости от дешевых источников энергии, в отсут-ствии арендной платы за помещение и сохранении инвестиций при переезде или перемещении офиса. Мобильный ЦОД отличают гибкость конфигурирования, практически неограниченные возможности масштабирования, а также настройка решения в соответствии с индивидуальными требованиями заказчика. Вот далеко не полный, но весьма внушительный список преимуществ контейнерных ЦОД, на которые стоит обратить внимание при принятии решения о создании центра обработки данных.

ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ

Необходимость создания полномасштабного ЦОД возникает тогда, когда появляется реальная потребность в отказоустойчивой, управляемой и масштабируемой инфраструктуре ИТ. Это происходит, когда от ее работы зависит стабильность и успешность бизнеса в целом. Принципиальное отличие ЦОД, в том числе и мобильного, от привычной «серверной комнаты» - его комплексное оснащение всем спектром инженерных систем и применение специальных мер по обеспечению функционирования информационной инфраструктуры предприятия в том режиме, который необходим бизнесу.

Следовательно, при подготовке проекта по созданию ЦОД в первую очередь надо определить, какие требования предъявляет бизнес к надежности функционирования информационной инфраструктуры в целом и к ее отдельным системам в частности. Критерием может выступать максимальное время простоя систем ИТ, не критичное для основного бизнеса компании. Совокупное время простоя системы можно охарактеризовать двумя параметрами:

    Время с момента последнего сохранения данных до момента сбоя;

    Время восстановления работоспособности системы после сбоя.

Сумма обоих параметров является общим временем простоя.

От того, какие параметры надежности указаны в техническом задании, будет зависеть выбор аппаратно-программных решений и, соответственно, стоимость решения. Если совокупное время неработоспособности системы равно 0, а потери данных не допустимы, это означает, что к ЦОД предъявляются высшие требования надежности, подразумевающие работу в режиме нон-стоп. С точки зрения обеспечения надежности и даже катастрофоустойчивости ЦОД, мобильные решения очень эффективны. Для этого можно разместить несколько одинаковых мобильных ЦОД на достаточном удалении друг от друга, обеспечив полное тиражирование данных между ними.

ИНЖЕНЕРНАЯ ИНФРАСТРУКТУРА МОБИЛЬНОГО ЦОД

Необходим комплексный подход к проектированию всех систем мобильных центров обработки данных, особенно если их эксплуатация предполагается в труднодоступных районах при минимальном участии обслуживающего персонала. Под комплексным подходом подразумевается выбор решений, оптимальных по соотношению «требуемая надежность/функциональность/стоимость» в области инженерии, сетевого и ИТ-оборудования, и проверка всех систем на совместимость. Минимальный комплект инженерных систем мобильного ЦОД включает:

    Гарантированное энергоснабжение (ИБП и дизель-генераторные установки);

    Прецизионное кондиционирование с необходимым уровнем резервирования системы;

    Комплексную систему безопасности (газовое пожаротушение, охранно-пожарную сигнализацию, контроль доступа и видеонаблюдение);

    Автоматизированную систему диспетчерского управления;

    Кабельное и сетевое оборудо-вание.

Прецизионная система кондиционирования может быть организована при помощи и воздушного, и водяного охлаждения. Она призвана обеспечить требуемые климатические условия для оборудования ИТ при установке контейнера в жестких климатических условиях, например, при повышенной влажности, резких перепадах температур, высоком электромагнитном излучении, нестан-дартном составе атмосферы.

Контроль за работой систем и оборудования осуществляется в удаленном режиме посредством автоматизированной системы диспетчерского управления. Минимальный функционал АСДУ предполагает контроль:

    Состояния инженерного оборудования;

    Температуры и влажности;

    Системы энергоснабжения;

    Аварийных ситуаций всех СИО;

    Противопожарной ситуации в ЦОД;

    Систем безопасности.

Сообщения от АСДУ могут передаваться как по локальной сети, так и через Internet на удаленное рабочее место оператора и различные информационные устройства других ответ-ственных лиц.

Контейнер, в котором находится оборудование, должен быть соответствующим образом подготовлен. Стены и пол следует утеплить специальными материалами, а все пространство контейнера разделить на две зоны посредством тамбур-шлюза. Первая отделяется от входа при помощи тамбур-шлюза и специальных перегородок, чтобы изолировать оборудование от резких перепадов температур и влажности. Здесь устанавливается вычислительная техника и резервный ИБП. Во втором отсеке размещаются все остальные технологические системы.

ИНФРАСТРУКТУРА ИТ МОБИЛЬНОГО ЦОД

При проектировании инфраструктуры ИТ мобильного центра обработки данных необходимо учитывать ряд ограничений и требований:

    Небольшая площадь;

    Высокое тепловыделение;

    Пригодность для эксплуатации в удаленных точках и, возможно, в суровых климатических условиях;

    Минимум обслуживающего персонала.

Как уже упоминалось, оборудование ИТ в контейнере отделяется от входа и остального оборудования при помощи тамбур-шлюза и специальных перегородок. Климатические параметры обеспечивает система прецизионного кондиционирования. В контейнерном ЦОД не обойтись без самых передовых технологических решений, которые предлагают сегодня производители оборудования ИТ. Среди таких технологий выделим модульную серверную архитектуру (blade). Ее преимущест-ва заключаются в следующем:

    Высокая плотность размещения серверов, сетевой инфраструктуры, дисковых модулей, ленточных накопителей;

    Отсутствие кабелей для подключения серверов к коммутаторам;

    Резервирование модулей охлаждения и энергопитания.

Отдельно назовем преимущества эксплуатации этого решения:

    Резервирование модулей охлаждения и энергопитания по схеме 2N;

    Экономия электроэнергии (до 30%);

    Сокращение времени подготовки сервера к работе (до 6 раз);

    Экономия пространства для размещения (до 4 раз).

Для повышения эффективности использования оборудования разработаны программные решения по консолидации и виртуализации инфраструктуры ИТ. Они позволяют улучшить управляемость, снизить количество аппаратных сбоев, уменьшить общее время простоев, повысить доступность приложений. В последнее время особенности виртуализации и консолидации обсуждаются довольно часто, поэтому лишь кратко перечислим основные преимущества этих решений. Консолидация позволяет получить следующие результаты:

    Увеличение плотности размещения серверов приложений;

    Возможность запускать любые ОС, в том числе и достаточно старые, которые новым оборудованием не поддерживаются;

    Сокращение простоев, как плановых, так и незапланированных, благодаря гибкой системе перераспределения нагрузки между серверами и миграции приложений в случае выхода из строя одного из серверов;

    Повышение надежности и отказоустойчивости всей системы в целом.

Применение виртуализации на модульных серверах дает дополнительные выгоды:

    Наличие предустановленных виртуальных серверов;

    Установка до восьми сетевых интерфейсов на сервер;

    Развитые инструменты управления;

    Поддержка виртуализации на аппаратном уровне.

В целях повышения надежности всей системы рекомендуется формализовать выбор оборудования для мобильного ЦОД, особенно если речь идет о работе в нетипичных условиях. Для серверного и сетевого оборудования предпочтительнее приобретать продукцию, сертифицированную в соответствии с определенными международными стандартами, например, NEBS и ETSI для телекоммуникационных мобильных контейнеров, эксплуатация которых осуществляется при похожих условиях (при этом, правда, следует помнить, что телекоммуникационные контейнеры потребляют существенно меньше энергии).

Для удаленного контроля оборудования ИТ и информационных приложений понадобится самостоятельная система мониторинга, объединяющая несколько подсистем, контролирующих работу серверов, систем хранения данных, сетевого оборудования и приложений.

ПОДГОТОВКА И ВВОД В ЭКСПЛУАТАЦИЮ

Как уже упоминалось, одно из ключевых преимуществ мобильного решения состоит в быстроте его развертывания. Процесс подготовки мобильного ЦОД к вводу в эксплуатацию состоит из нескольких этапов (работа по некоторым из них ведется параллельно). Первый - подготовка ровной площадки, подведение к ней энергоснабжения и кабельных коммуникаций, возведение солнцезащитного шатра, обеспечение заземления и молниезащиты, выполнение других необходимых мероприятий. Контейнер может быть установлен как «в чистом поле», так и в любом другом подходящем месте: в ангаре, на складе, на территории завода и т.д. В случае использования воздушного охлаждения специальный подвод воды и/или установка чиллера не требуются.

Зачастую одновременно выполняется второй этап - сборка самого контейнера, заказ оборудования, установка и наладка всех необходимых систем. Третий этап - монтаж и тестирование работы контейнера на площадке заказчика. Во многих подобных решениях используются стандартные 20-футовые транспорт-ные контейнеры. Соответственно, и транспортировка осуществляется любыми стандартными способами: на трейлере, по железной дороге, мор-ским путем и т.д.

ПЕРСПЕКТИВЫ РАЗВИТИЯ МОБИЛЬНЫХ РЕШЕНИЙ

Перспективы развития логично вытекают из тех ограничений, с которыми приходится сталкиваться при проектировании мобильных ЦОД повышенной мощности. Если необходимо существенно увеличить теплоотвод, применение водяного охлаждения становится неизбежным. Это позволяет увеличить мощность ЦОД до 120 кВт, но в результате требуется расширить площадь, чтобы разместить чиллер и дополнительные системы контроля, в частности, систему защиты от протечек воды. Для более мощных мобильных ЦОД лучший вариант - 40-футовые стандартные транспортные контейнеры, куда интегрируются необходимые инженерные системы, ИБП, ДГУ, оборудование ИТ, сетевое оборудование, система охраны и АСДУ.

Константин Величко - начальник отдела аппаратных решений компании ЧЕРУС. С ним можно связаться по адресу: [email protected] .

Российский ЦОД в контейнере

реди российских интеграторов одной из первых типовой мобильный центр обработки данных разработала компания «Черус». Решение рассчитано на 25 кВт потребляемой/выделяемой мощности и предусматривает воздушное охлаждение. Оборудование ИТ размещается в пяти стоках 19” высотой 1800 мм с тепловыделением по 5 кВт каждая (или четырех, если не требуется устанавливать дополнительный ИБП). Все системы помещаются в стандартный транспортный 20-футовый контейнер. Компания ведет проектную проработку второго типового мобильного ЦОД, рассчитанного на 120 кВт потребляемой/выделяемой мощности. Он будет размещаться в стандартном 40-футовом контейнере. «Типовое решение» не исключает широкие возможности его адаптации в соответствии с требованиями заказчиков.

Решением предусматривается воздушное прецизионное кондиционирование с возможностью естественного охлаждения в холодное время года (Free Cooling). Проанализировав несколько вариантов системы прецизионного кондиционирования, специалисты компании пришли к выводу, что система с воздушным охлаждением наиболее эффективна для ЦОД мощностью 25 кВт. Ее работу обеспечивают три прецизионных кондиционера Liebert HPW WM15MD - моноблочные, наружной установки. При этом реализована схема резервирования 2+1. Для повышения надежности системы охлаждения один из кондиционеров постоянно подключен к ИБП. Это сделано на случай потери основного электропитания от сети в жару, когда с учетом ограниченного пространства контейнера температура в помещении быстро достигает и даже превышает предельно допустимую, поскольку запуск системы гарантированного энергоснабжения от ДГУ потребует некоторого времени.

Как утверждается, полное оснащение контейнера с момента размещения заказа занимает четыре месяца. На монтаж и тестирование отводится две недели без учета времени доставки.




Константин КОВАЛЕНКО

Мобильный ЦОД

ИТ-инфраструктура на колесах

Миниатюризация и мобильность - новый качественный этап

развития ИТ-решений.

Не стали исключения и дата-центры, которые теперь обрели возможность передвижения и сверхбыстрого развертывания.

О мобильных центрах обработки данных (МЦОД) и пойдет

речь в данной статье

П режде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот - и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания - нарушение дизайна...

Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку - перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться - то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит - все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться - нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?

Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.

Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, - быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД

Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.

Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

основной ЦОД - возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;

резервный ЦОД (РЦОД) - экономичное решение для создания дата-центра в сжатые сроки;

расширение основного или резервного ЦОД - возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;

start - UP ЦОД - возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;

временный ЦОД - возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.

Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).

Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).

В технологическом плане все решения условно можно разделить на две полярные группы - высокой удельной мощности и высокой мобильности.

Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощ­ного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД - быстрота развертывания.

Решения второго класса сосредоточены именно на увеличении показателя мобильности - при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.

Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM -200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений - предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.

Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).

Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC - мобильная InfraStruXure Express

Именно компании АРС в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure , которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N +1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.

Впоследствии модернизацией этого решения начал заниматься партнер АРС - компания Pacific Voice & Data . В обновленной версии, получившей название PVD Mobile Data Center , в 53-футовом контейнере размещалось уже 16 шкафов 42 U , удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.

Интересно, что в 2009 году компания АРС вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

В конце 2006 года компания Sun Microsystems представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

В этом решении для охлажде­ния стоек использовалась водя­ная система, поэтому предполага­лось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот кон­структив шкафов достаточно ори­гинален - 40 U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при по­мощи специальной тележки, ко­торая подсовывается под осно­вание шкафа, а ручка тележки играет роль домкрата. Основное новшество - организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая - между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера - этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.

Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время - особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности - скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров - как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD. На сегодняшний день доступно две модификации - с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.

Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение - Integ ­ rated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Проект ICE Cube был реализован в двух форм-факторах - стандартном 20-ти и в большом - 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55 U , то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения - этому способствовало как жидкостное охлаждение, так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и, по сути, представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE -совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.

Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения - общий холодный коридор. Как и в решении Sun , чиллер не входил в комплект подставки и устанавливался рядом.

А вот самым маленьким МЦОД можно назвать детище компании NAAT . Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED ) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC ) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно - обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

Portable Modular Data Center (PMDC ) - 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure . Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек - от 8 (для 20-футового) и 17 высотой 47 U (для 40-футового).

Enterprise Modular Data Center (EMDC ) - модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.

High Density Zone (HDZ ) - модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения - Smart Shelter Container (SSC ) - представлен компанией AST . Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братом­близнецом. Емкость - 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейн-фреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO -контейнеров как в моноблочном исполнении, так и в виде мульти-контейнерных сборок. Проектный уровень эксплуатационной надежности - TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник - такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга - вплоть до 4 этажей - и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).

Еще одна компоновка 40-футового контейнера - от компании Altron . Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения - полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы - Tier III .

Компания Verari презентовала систему FOREST (Flexible , Open , Reliable , Energy efficient , Scalable and Transportable - гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД - не ниже TIER III . Единственное, что почему-то не приводится в явном виде, - количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack 2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения - в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM -200), фанкойлы и мониторинг.

Не осталась в стороне и компания Hewlett Packard , представившая свое видение МЦОД - Performance Optimized Datacenter (POD ) - рис. 8.

Система исполнена в контейнере 20 или 40 футов, емкость - до 22 стоек 50 U при удельной мощности на стойку в 27 кВт. Компоновка стоек - длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей - четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.

Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor . Как и в случае с решением AST , это два контейнера - сервисный и серверный. Серверный находится снизу, сервисный сверху (видимо, это сделано исходя из количества посещений каждого их них - в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует - Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует - возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.

Компания Lampertz , известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room , было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный - для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47 U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rittal в качестве внутреннего наполнения предпо­лагается инженерный комплекс на базе Rimatrix 5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.

Компания Bull , видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42 U может достигать до 40 кВт. Выпускаются две версии - в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая - 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.

Упомянем также и компанию ActivePower , которая предлагает систему PowerHouse . Хотя это и не полностью законченное решение МЦОД, однако, его можно использовать в качестве сервисного контейнера, например, с продуктами Sun , HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные - в 40-футовых. Самая интересная деталь такого решения - применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).

Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум» (рис. 9). Главной его отличительной чертой является компактность и завершенность - дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42 U , при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность - 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N +1). Одна из главных особенностей данного МЦОД - стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.

В контейнере организовано два входа: один для заноса оборудования, второй - для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура, благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.

Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N +1 или 2 N (в зависимости от модели).

Существуют две модификации решения - базовая MDC -20- T 2 (уровень эксплуатационной надежности - TIER II, мощность устанавливаемого оборудования - до 32 кВт, компоновка в стандартном контейнере) и MDC -20- T 3 (уровень эксплуатационной надежности - TIER III , мощность ИТ-оборудования - до 40 кВт, контейнер собственного изготовления).

Компания «Черус» предложила свое решение для МЦОД - CHERUS - MDC -24-1 . В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N +1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров - установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III .

МЦОД: концептуальные решения

Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).

Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн - для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.

Тем не менее, основные дата-центры Google , как и Microsoft , построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint ) и конструктивно схожи с решениями HP и Sun . При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.

А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter ). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий - комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7 U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД - перспективы и тенденции

Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации - если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO -контейнеры, ИБП, стойки и пр.).

Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример - ICE Cube ).

Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа - мобильность, компактность и оперативность - всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,

главный инженер проектов,

отдел инженерных систем компании

«СИТРОНИКС Информационные

Технологии Украина»

Модульный ЦОД - это центр обработки данных, состоящий из типовых элементов системы – модулей. Модуль в единственном исполнении является мобильным ЦОДом, при объединении нескольких таких мобильных ячеек мы получаем модульную систему. Модули могут быть со стойками, с ИБП, со всевозможным вспомогательным оборудованием. Их можно устанавливать и внутри помещений. Монтирование новых единиц происходит по мере роста потребностей.

Модульный контейнеризированный центр обработки данных включает ИТ-оборудование, средства питания и системы охлаждения. Как только стало возможно объединить все это в один контейнер, стали все более распространенными собственные модули от разных поставщиков.

Модульные ЦОДы - это технология, основной целью которой является сокращение и оптимизация издержек на строительство ИТ-инфраструктуры. То, как распределяются инфраструктурные ресурсы в этой модели, во многом напоминает распределение вычислительных мощностей в облаке. Клиент платит именно за тот объём мощностей, который он использует, и в случае чего может относительно легко нарастить или сократить ресурсы. То же самое и с модульным строительством дата-центров: по решению заказчика ресурсы прибавляются и убавляются вполне оперативно и относительно недорого.

Преимущества мобильных центров обработки данных

Мобильные центры обработки данных обладают рядом преимущество по сравнению со стационарными дата-центрами. В первую очередь преимущества модульных ЦОД оценили те, кто ищет катастрофоустойчивые решения, способные работать в любых условиях – мобильные операторы, сырьевой сектор.

Во-вторых, это компании, для которых важна непрерывность бизнеса, а стоимость простоя ИТ-оборудования чрезвычайно высока, например, финансовые и страховые компании, банки.

Ну и в третьих, это поставщики ИТ-услуг, которые ищут пути сокращения капитальных затрат на строительство .

Все познаётся в сравнении, и дешевизна модульных дата-центров становится очевидной, когда они оказываются на разных чашах весов с традиционными. Во-первых, модульные ЦОДы не требуют капитального строительства или дорогостоящего переоборудования существующего помещения. Это настолько мощное преимущество, что оно легко перекрывает сколько-нибудь значимые недостатки. Строителю и заказчику не нужно инвестировать, что называется, «в бетон». Капитальное строительство легко съедает половину бюджета на развёртывание центра обработки данных.

Кроме того, построенные здания или ЦОД, размещённый на арендованных площадях, не отличаются мобильностью. Если у клиента заканчивается срок аренды или возникает необходимость переехать в другой офис, то в случае с капитальным строением это оборачивается инвестиционной катастрофой: приходится вкладывать средства, сопоставимые по размерам со строительством ещё одного ЦОДа. А модульный дата-центр можно просто разобрать и развернуть на любом другом пространстве. К тому же он не привязан к объёму помещения, притом что именно объём объектов коммерческой недвижимости оказывается препятствием к наращиванию ИТ-инфраструктуры.

Схожесть с облачной моделью, о которой говорилось чуть выше, состоит в том, что модульный ЦОД легко масштабируется. Например, у вас есть открытый участок площадью в тысячу квадратных метров. Вы можете возвести модульный ЦОД достаточной мощности на 300 кв. м, а остальную территорию заполнить новыми модулями по мере роста потребностей бизнеса. Такое пошаговое масштабирование позволяет значительно сократить как капитальные, так и операционные расходы .

МЦОДы более эффективны: для них не требуется специальной инфраструктуры, срок возведения составляет около 2-3 месяцев, они мобильны и могут располагаться с источниками дешевой энергии. Кроме того, их можно использовать для расширения мощности стационарных ЦОД.

Если провести сравнительный анализ мобильных и стационарных центров обработки данных, то он будет выглядеть так:

Стационарный ЦОД Мобильный ЦОД

1. Для развертывания требуется специальное помещение

2. Имеет ограничения в масштабировании.
3. Его сложно передислоцировать.
4. Срок реализации проекта – 1 год.
5. Установка и пуско-наладка центра стационарного центра значительно дороже.
6. Эксплуатационные расходы выше, чем у мобильного центра


1. Для развертывания МЦОД не требуется специального здания, и, следовательно, начальные затраты и эксплуатационные расходы значительно сокращаются.

2. Позволяет развернуть инфраструктуру IT на удаленной площадке
3. Подходит для мобильных офисов или передвижных объектов.
4. Может применятся для расширения инфраструктуры IT (совместно со стационарным центром).
5. Возможность размещения поблизости от дешевых источников энергии, в отсутствии арендной платы за помещении, сохранении инвестиций при переезде или перемещении офиса.
6. Срок реализации проекта 2 - 3 месяца.

Где бы ни размещалось предприятие, вы всегда можете установить там мобильный центр. Наличие готовых решений производства блок-контейнеров, отсутствие или значительное сокращение таких этапов как проектирование инфраструктуры для стационарных ЦОД, согласование проектных решений с надзорными органами, строительство и минимальные требования к подготовке площадки приводят к значительному сокращению сроков поставки и установки МЦОД по сравнению со стационарами центрами.

Тема мобильных центров по обработке данных, или Mobile Data Center (MDC) часто освещается в прессе, как зарубежной, так и российской. Эта вызывает интерес отечественных предпринимателей и специалистов ИТ-индустрии. Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями, работающими в сфере информационных технологий.

Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями и организациями, работающими в сфере информационных технологий: необходимость развертывания новых стоек в максимально сжатые сроки или создание новых стоек на короткое время на базе существующих основных и резервных мощностей и компонентов инженерной инфраструктуры при отсутствии помещений либо при несоответствии имеющихся помещений требованиям, предъявляемым к ЦОД.

Кроме того, МЦОД позволяют создать временное серверное помещение в том момент, когда стационарное еще не достроено или не введено в эксплуатацию. Во временном помещении может быть установлено оборудование, которое необходимо для функционирования бизнеса в этот период.

Также в случае нехватки специализированного помещения для размещения ЦОД, или специалистов необходимой квалификации, или стационарных центров обработки данных, обеспечивающих требуемый уровень надежности – оптимальным решением может стать МЦОД. Мобильный ЦОД может применяться для расширения инфраструктуры ИТ. При активной экспансии в регионы или поглощении других компаний филиалы открываются без задержек, а приобретенные активы оперативно интегрируются в единую информационную инфраструктуру.

Среди факторов роста спроса на мобильные центры обработки данных можно назвать увеличение интернет-трафика, важность непрерывной работы интернет-приложений и интеграцию с мировой экономикой. Таким образом, мобильные дата-центры перестали быть нишевым предложением, и стали востребованы не только в полевых условиях, но и в мегаполисах, где не хватает свободных площадей.

«Мобильный ЦОД»: нужен ли он вам?

Существующая в отрасли путаница с трактовкой термина «мобильный ЦОД» способна не только ввести ИТ-директоров в заблуждение, но и привести к выбору неэффективного решения. Происхождение термина Термин «мобильные» ведёт своё происхождение от решений, использовавшихся американскими военными. Эти ЦОДы действительно имели возможность перемещаться с установленным внутри оборудованием и оперативно разворачиваться на новом месте. Размещались такие дата-центры обычно в контейнерах, что впоследствии привело к смешению определений: контейнерные ЦОДы стали отождествлять с мобильными и модульными. Однако существующие «контейнерные решения» имеют со своими военными предшественниками мало общего – большинство из них не могут перевозиться с установленным внутри не только ИТ-, но даже инженерным оборудованием (особенно по российским дорогам). Кому это нужно? Перемещение центра обработки данных – весьма специфическая потребность и вероятность того, что она возникнет у компании, невысока. Если такой переезд и произойдет, маловероятно, что он будет носить форму военной спецоперации .

Среди характеристик «мобильных» ЦОД, большинство клиентов считает ключевыми следующие:

  • возможность доставки в удалённые места;
  • возможность выбора места (ближе к пользователям, источникам электроэнергии, рядом со зданием);
  • сокращение сроков реализации;
  • возможность поэтапного наращивания мощности (по требованию);
  • возможность перемещения в будущем на новое место эксплуатации.

Именно эти опции и указывают в качестве своих преимуществ производители «мобильных» ЦОД на базе ISO-контейнерных решений. Pre-fabricated ЦОД или мобильный? Важно понимать: помимо контейнерных (или мобильных) решений на рынке существуют pre-fabricated (или собираемые из предварительно произведённых конструкций) ЦОД, которые не просто предоставляют клиентам такие же возможности, но и по ряду ключевых характеристик превосходят «контейнерные ЦОДы».

Pre-fabricated ЦОД дают возможность более гибкого масштабирования (квант масштабирования по стойкам, а не модулям). В pre-fabricated ЦОД отсутствует проблема недоставка сервисного пространства, характерная для «контейнерных» дата-центров. При этом некоторые сборные модульные ЦОД имеют меньшую стоимость транспортировки при большей гибкости и даже скорости доставки, чем «мобильные».

История

2005-2006: Google и Sun создают первые контейнерные ЦОДы

Ранее считалось, что пионером в создании мобильных ЦОДов стала Sun Microsystems выпустив в 2006 г. первый продукт Blackbox. Однако, как стало недавно известно, первопроходцем выступила корпорация Google , которая еще осенью 2005 г. создала свой первый дата-центр на базе 45 контейнеров, каждый из которых содержал 1160 серверов и потреблял 250 Квт электроэнергии. Плотность мощности составляла 780 Вт на квадратный фут, а температура в «холодном» проходе не превышала 27,2 градуса.

2010: В мире продано лишь 80 контейнеров

Несмотря на бурный рост предложений МЦОД от ведущих производителей, данный сегмент рынка, по оценкам IDC , остается небольшим, хотя и быстрорастущим. В 2010 г. в мире продано чуть более 80 контейнеров, что, однако, вдвое больше, чем в 2009 г.

Основными факторами развития рынка коммерческих ЦОД в России аналитики компании J’son & Partners (J&P) называют интеграцию российского бизнеса в мировую экономику, рост интернет-трафика, национальные проекты и госпрограммы, а также непрерывность работы в качестве конкурентного преимущества компаний. Несмотря на то, что спрос на МЦОД пока не велик (пока реализовано не более десятка проектов), уже более семи российских ведущих ИТ-компаний разработали и предложили свои варианты построения мобильных центров обработки данных.

В это время МЦОД востребованы в мире компаниями отрасли связи, нефтегазового сектора, крупными промышленными и производственными холдингами, предприятиями металлургической сферы, энергетики.

Отдельные компании-интеграторы в России продолжают работать над технологическими решениями в этой сфере:

  • Stack Group , предлагающая мобильное решение Stack.Куб ,

Ряд проектов в этом направлении был и у таких компаний, как «Черус » и «Энвижн Груп ».

Одна из причин выбора мобильных дата-центров – возможность подключить их в короткие сроки. В среднем, изготовление МЦОД требует от 3 до 6 месяцев, а сроки монтажа и подключение ограничиваются двумя неделями.

2011: Исследование эффективности модульных контейнерных ЦОДов

Консорциум The Green Grid опубликовал в ноябре 2011 года результаты исследования эффективности центров обработки данных, собранных из готовых модульных блоков, уже содержащих необходимое оборудование и программы. Подобные модули выпускает ряд компаний, в том числе Dell , , SGI , Capgemini и Microsoft .

Строительство модульных центров стоит дешевле благодаря сокращению расходов на проектирование. Плотность размещения оборудования в модулях, как правило, выше, чем в обычных центрах, и они занимают меньше места, а производительность их зачастую оказывается выше, поскольку недостатки конструкции выявляются еще на этапе проектирования модулей. Кроме того, обычно модульные дата-центры оптимизируют в отношении потребления энергии и эффективности охлаждения, а также проектируют с расчетом на работу в широких пределах температур и влажности, Общей проблемой модульных центров является надежность, отмечается в отчете The Green Grid. Уровень дублирования, устойчивости и гарантированного времени работы разных компонентов модуля может сильно отличаться, и в результате надежность всего модуля начинает зависеть от одного элемента. Многих беспокоит также обеспечение физической безопасности модулей.

В это время в России работает не более 10% мобильных центров обработки данных (МЦОД). Ожидалась активизация этого направления – уже более семи компаний предлагают проекты создания контейнерных дата-центров. Все эти компании отмечают увеличение спроса на МЦОД: за 2011 год количество заказов на проекты мобильных центров превысило количество заказов за 2009-2010 годы. Такие крупные компании, как «Вымпелком » или авиастроительный концерн «Иркут » уже оценили преимущества мобильных центров обработки данных, что, несомненно, свидетельствует о растущей популярности МЦОД на российском рынке.

Заказчики данных проектов понимают, что, пакетируя центр обработки данных в контейнер, они получат полностью готовый продукт «под ключ» с минимальными финансовыми затратами и высокой окупаемостью. МЦОД может стать как основным центром для хранения и обработки данных, так и резервным.

2012: Исследование APC by Schneider Electric

Согласно исследованиям специалистов APC by Schneider Electric , модульные контейнерные Центры Обработки Данных быстрее в развертывании, более надежные в работе и имеют более низкую общую стоимость владения, чем ЦОД, построенные самостоятельно из различных компонентов.

Специалисты APC by Schneider Electric произвели в 2012 году детальное исследование проблемы питания и охлаждения модульных контейнеризированных центров обработки данных и сравнительный анализ с самостоятельно построенными ЦОД.

Основные рассматриваемые вопросы