Головна Журнал Оперативний ЦОД – «мобільний» чи «модульний»? Модульний ЦОД: огляд рішень. Заводські приймальні випробування

Оперативний ЦОД – «мобільний» чи «модульний»? Модульний ЦОД: огляд рішень. Заводські приймальні випробування

Група Компаній «4х4» представлена на ринку Контейнерних ЦОД понад 10 років. У портфелі реалізованих проектівкомпанії, як Контейнерні ЦОД власного виробництва.

У 2016 році було розроблено друге покоління власного рішення, яке отримало назву Mtech (Modular Technology).

Модульні ЦОД власної розробки, призначені для експлуатації в будь-яких регіонах РФ, що мають близько 50% російських комплектуючих, розроблені з урахуванням багаторічного досвіду роботи в цій галузі та думки наших Шановних Замовників.

Особливості та переваги КЦОД та МЦОД 4х4 MTech

Розроблений у Росії для Російських умов

Конструкція контейнерного модуля розроблена командою професійних архітекторів та призначена для розміщення інженерного ІТ обладнання із забезпеченням максимального захисту від зовнішніх умов(вітрове та снігове навантаження, зовнішня температура) у будь-якому регіоні РФ;

Широкий тамбур

Дозволяє розмістити шафу для одягу персоналу (входить до складу поставки) та поставити автомат для одягання бахіл, для підтримки постійної чистоти в Машинному залі МЦОД, а також забезпечити можливість занесення або винесення обладнання з/в Машинний зал МЦОД;

Додатковий скатний дах

Дозволяє не допустити накопичення снігового покриву в зимовий періодта накопичення води при таненні снігового покриву;

Достатнє місце для комфортного обслуговування всередині

Внутрішня ширина контейнерного модуля 3000 мм, що дозволяє встановити серверні стійки 1200 мм глибиною в статичному положенні і забезпечити простір для обслуговування перед ними не менше 1200 мм. Такий підхід дозволяє запропонувати Замовнику рішення з можливістю нарощування потужності у процесі експлуатації та знизити капітальні витрати на першому етапі. Також це забезпечує зручність обслуговування та встановлення ІТ обладнання у серверні стійки.

Контейнеризація гарячого коридору

У рішеннях з потужністю ІТ навантаження на стійку від 8 кВт планується встановлення системи контейнеризації гарячого коридору, максимально ефективної роботисистеми кондиціювання.

Заводські приймальні випробування

Проведення заводських приймальних випробувань рішення перед відправкою на майданчик Замовника, а також випробувань на майданчику Замовника, за погодженою з ним програмою методикою випробувань, дозволяє досягти гарантованої та безвідмовної роботи рішення в процесі експлуатації;

Надійність

Використання найбільш надійного на ринку обладнання для реалізації основних інженерних систем дозволяє забезпечити спокійний сон Замовника на наступні щонайменше 10 років (середній термін служби інженерного обладнання ЦОД);

Завантажити презентацію з Контейнерних та Модульних ЦОДів 4х4 Mtech (3,5 МБ) >>>

Недоліки ISO контейнерного

Спочатку власники пропонували КЦОД у стандартних ISO контейнерах, однак таке рішення має ряд недоліків. Насамперед, це ширина стандартного ISO контейнера - 2,44 м.

При розміщенні стійок у стандартному ISO контейнері виходить, що 10см йде на утеплення контейнера, 1м – глибина стійки та 1м перед стійкою для встановлення обладнання. Таким чином, ззаду стійки залишається лише 34 см. У цей простір людина не протиснеться, а отже операції комутації для стійок посередині будуть утруднені. Тому виробники або робили стійки викочування (вимагає їх знеструмлення при пересуванні), або сервісні двері в задній частині контейнера (неможливо використовувати взимку).

Також стандартні ISO модулі мають плоский і дуже м'який дах, який не витримує снігового навантаження в Росії. При спробі очищення від снігу дах без додаткового посилення прогинатиметься і деформуватиметься. Якщо ж дах не чистити від снігу, з високою ймовірністю навесні він протікає.

Враховуючи дані недоліки 4х4 пропонує пропонують рішення в non-ISO модулях нестандартного розміру, як правило це 3,3 метра завширшки та висоту, що дозволяє забезпечити нормальний гарячий коридор. Нестандартний контейнер має ISO-модулі для підйому краном. Перевезення нестандартного контейнера вимагає отримання дозволу на перевезення негабаритного вантажу, зараз це не становить жодних складнощів. Хороший контейнерний ЦОД нічим не відрізняється з погляду супроводу від звичайної серверної. Дуже бажано мати вхідний тамбур, який дозволить нівелювати перепади клімату при вході в контейнер, а також надасть місце для розміщення необхідних ЦОД речей (бахіли, пилосос, присоска для фальшпідлоги тощо).

Модульний ЦОД відрізняється від контейнерного тим, що складається з окремих модулів, які стикуються між собою. Ми встановлювали модульні рішення в Росії та знаємо, що сучасні технологіїдозволяють забезпечити повну герметичність конструкції. Модульний ЦОД теоретично може бути будь-якого розміру. Чим більше модулів в одному складанні, тим дешевше обходиться ЦОД у перерахунку на вартість однієї стійки.

Якщо порівнювати вартість традиційного та модульного ЦОДів, то модульний ЦОД виявляється вигіднішим за ціною вже при розміщенні 20 стійок і більше. Але основною перевагою контейнерних та модульних ЦОДів є швидкість розгортання. Як правило, від моменту замовлення перші модулі починають працювати вже через 4 місяці. Традиційний ЦОД у будівлі, за нашими оцінками, потребує близько 2 років для будівництва.

Як завжди, ми постаралися зробити модельне завдання максимально наближеним до реальних проектів. Отже, вигаданий замовник планував на 2015 рік будівництво нового корпоративного ЦОД по традиційної технології(починаючи з капітального будівництва чи реконструкції будівлі). Проте погіршення економічної ситуації змусило його переглянути плани. Від масштабного будівництва вирішено відмовитись, а для вирішення поточних ІТ-задач – організувати невеликий модульний ЦОД у дворі на своїй території.

Спочатку від ЦОД потрібно забезпечити встановлення 10 стійок з ІТ-обладнанням потужністю до 5 кВт кожна. При цьому рішення має масштабуватися за двома параметрами: за кількістю стійок (у перспективі, при сприятливій економічній ситуації та розвитку бізнесу замовника, ЦОД повинен вміщувати до 30 стійок) та за потужністю окремої стійки (20% усіх стійок мають підтримувати роботу обладнання потужністю до 20 кВт на стійку). Переважний «квант» нарощування – 5 стійок. Детальніше - див. врізання «Завдання».

ЗАВДАННЯ

Вигаданий замовник планував на 2015 рік будівництво нового корпоративного ЦОД за традиційною технологією (починаючи з капітальної реконструкції будівлі). Проте погіршення економічної ситуації змусило його переглянути плани. Від масштабного будівництва вирішено відмовитись, а для вирішення поточних ІТ-задач – організувати невеликий модульний ЦОД.

Завдання.Замовник збирається на своїй промисловій території розгорнути невеликий ЦОД, що добре масштабується. Спочатку необхідно забезпечити встановлення 10 стійок з ІТ-обладнанням, потужність кожної стійки до 5 кВт. При цьому рішення має бути масштабованим за двома параметрами:

за кількістю стійок: у перспективі, за сприятливої економічної ситуації та розвитку бізнесу замовника, ЦОД повинен буде вміщувати до 30 стійок;
за потужністю окремої стійки: 20% всіх стояків повинні забезпечити роботу обладнання потужністю до 20 кВт (на стійку).

Бажано інвестувати у розвиток ЦОД за необхідності. Переважний «квант» нарощування – 5 стійок.

Особливість майданчика.Майданчик забезпечений електрикою (максимальна підведена потужність – 300 кВт) та каналами зв'язку. Розміри майданчика достатні для розміщення будь-якого зовнішнього обладнання, такого як ДГУ, чилери та ін. Майданчик розташований у межах міста, що накладає додаткові умовирівень шуму від устаткування. Крім того, знаходження ЦОД у місті має на увазі високий рівеньзабруднення повітря.

Інженерні системи.Рівень стійкості до відмов - Tier II.

Охолодження.Замовник не специфікував конкретну технологію охолодження (фреонова, чиллерна, адіабатика, природне охолодження) - її вибір надається на розсуд проектувальників. Головне - забезпечити ефективне знімання тепла при зазначених у задачі потужностях стійок. Мінімізація енергоспоживання вітається - необхідно вкластися в обмеження щодо підведеної потужності.

Безперебійне електроживлення.Конкретна технологія також не специфікована. Час автономного живлення у разі аварії – щонайменше 10 хв від акумуляторів з переходом на роботу від ДГУ. Запас палива – на розсуд проектувальників.

Інші інженерні системи.Проект має передбачати такі системи:

автоматичне встановлення газового пожежогасіння (АУГПТ);
система контролю та управління доступом (СКУД);
структурована кабельна система (СКС);
фальшпідлога та інші системи - на розсуд проектувальників.

ЦОД повинен мати комплексну системууправління, що забезпечує моніторинг та контроль усіх основних систем: механічної, електричної, протипожежної, системи безпеки та ін.

Додатково:

замовник просить вказати термін реалізації ЦОД та особливості доставки обладнання (під'їзні шляхи, спеціальні механізми для розвантаження/монтажу);
якщо проектувальник вважає за необхідне, можна відразу запропонувати ІТ-обладнання для ЦОД.

Ми звернулися до провідних постачальників модульних ЦОД із проханням розробити проекти для замовника. В результаті було отримано 9 докладних рішень. Перш ніж розпочати їх розгляд, зауважимо, що «Журнал мережевих рішень/LAN» вже багато років відстежує тенденції та намагається класифікувати модульні ЦОД. Цим питанням присвячені, наприклад, статті автора « » (LAN, № 07–08, 2011) та « » (LAN, № 07, 2014). У цій статті не витрачатимемо час на виклад трендів, а тих, хто цікавиться, відсилаємо до зазначених публікацій.

(НЕ)КОНСТРУКТИВНИЙ ПІДХІД

Найчастіше приналежність до категорії «Модульний ЦОД» визначають за типом конструктиву. У першому етапі становлення цього сегмента ринку «модульними» зазвичай називали ЦОДи з урахуванням стандартних ISO-контейнерів. Але в останні рік-два на контейнерні ЦОДи обрушився вал критики, особливо з боку постачальників рішень. нової хвилі», які наголошують на тому факті, що стандартні контейнери не оптимізовані для розміщення ІТ-обладнання.

Відносити ЦОД до категорії модульних виходячи з типу конструктиву – неправильно. «Модульність» має визначатися можливістю гнучкого масштабування шляхом узгодженого нарощування числа стійок, потужності систем безперебійного гарантованого живлення, охолодження та інших систем. Конструктив у своїй може бути різний. Так і нашому замовнику надійшли пропозиції на основі і стандартних ISO-контейнерів, і спеціалізованих контейнерів та/або блоків, і модульних приміщень, і конструкцій, що збираються на місці (див. таблицю).

Скажімо, фахівці Huawei обрали для нашого замовника рішення на основі стандартних ISO-контейнерів, хоча портфелі рішень компанії мають модульні ЦОД на основі конструктивів інших типів. Михайло Саліков, директор напряму ЦОД цієї компанії, пояснив цей вибір тим, що традиційне контейнерне рішення, по-перше, дешевше, по-друге, дозволяє швидше реалізувати проект і, по-третє, менш «вибагливе» до підготовки майданчика. На його думку, за нинішніх умов з урахуванням поставлених замовником умов саме цей варіант може виявитися оптимальним.

Відразу кілька пропозицій, що надійшли замовнику, засновані на контейнерах, але не стандартних (ISO), а спеціально розроблених для побудови модульних ЦОД. Такі контейнери можуть стикуватися, утворюючи єдиний простір машинного залу (див., наприклад, проект Schneider Electric).

Однією з особливостей варіантів на основі контейнерів є жорсткіші вимоги до засобів транспортування та установки. Так, наприклад, для доставки модулів-контейнерів NON-ISO25 компанії Schneider Electric необхідний низькоплатформовий причіп з корисною довжиною не менше 7,7 м. Для розвантаження та встановлення потрібно кран вантажопідйомністю не менше 25 т (див. рис. 1).

У разі використання модулів меншого розміру вимоги м'якше. Наприклад, модулі DCoD компанії CommScope перевозяться у стандартному євротраку, а їх розвантаження та встановлення можуть здійснюватися звичайним автонавантажувачем - вантажопідйомністю не менше ніж 10 т (див. рис. 2).

Нарешті, для монтажу швидковозво димою (на місці) конструкції, наприкладзаходів МЦОД NOTA компанії «Утілекс», важкі підйомні механізми взагалі не потрібні - достатньо самоповантажника з підйомною потужністю 1,5 т

Усі складові цього МЦОД зяться в розібраному вигляді в стандартному ISO-контейнері, що, за словами представників «Утілекс», суттєво знижує вартість та терміни доставки до майданчика розміщення. Ця можливість є особливо важливою для віддалених місць без розвиненої транспортної інфраструктури. Як приклад наводиться проект з реалізації розподіленого ЦОД у Магаданській області для компанії «Полюс Золото»: загальна довжина шляху доставки становила понад 8900 км (5956 км залізничним транспортом, 2518 км – морським; 500 км – автотранспортом).

ЕЛЕКТРОЖИВАННЯ

У частині системи гарантовано го безперебійного електроживленнявибір різних варіантів для даногоного проекту невеликий - тільки класичне «тріо»: статичні ДБЖ, акумуляторні батареї та дизель-генераторна установка (ДГУ). Розглядати як альтернативу динамічні ДБЖ за таких потужностей недоцільно.

У більшості проектів використовуються модульні ДБЖ, потужність яких нарощується шляхом додавання силових модулів. Пропонуються і моноблочні ДБЖ - у цьому випадку збільшення потужності системи відбувається шляхом встановлення ДБЖ у паралель. Одні компанії вказали конкретні модулі ДБЖ, інші обмежилися загальними рекомендаціями ().

Схожа ситуація і з ДГУ: одні компанії рекомендували конкретні моделі, інші обмежилися розрахунком мощейності. Більш детальна інформаціяпо ДДУ представлена у повних описахня проектів, доступних на сайті .

ОХОЛОДЖЕННЯ

А ось варіантів охолодження запропоновано багато. Більша частинапроектів заснована на фреонових кондиціонерах - не найенергоефективніше, але найдешевше рішення. Дві компанії – Huawei та Schneider Electric – зробили ставку на чилерні системи. Як пояснює Денис Шарапов, менеджер з розвитку бізнесу компанії Schneider Electric, проект системи охолодження з фреоновими кондиціонерами виходить дешевше, проте для забезпечення стійкості до відмови потрібне встановити ДБЖ набагато більшої потужності (для живлення компресорів), в результаті вартість проектів виявиться приблизно рівною. Тому на підставі проведених розрахунків фахівець Schneider зробив вибір на користь чиллерного варіанта – більш надійного та функціонального. (Для аварійного охолодження в чиллерних системах використовується бак-акумулятор з холодним теплоносієм, а тому потреба в безперебійному живленні істотно нижча - достатньо запитати від ДБЖ тільки насоси для прокачування теплоносія.)

У рекомендованому замовнику фахівцями «Крок» рішення CommScope використовується прямий фрикулінг з адіабатичним охолодженням. Як зазначає Олександр Ласий, технічний директордепартаменту інтелектуальних будівель компанії «Крок», застосування прямого фрикулінгу майже цілий рікдає суттєву економію електроенергії, а пропонована (у рішенні CommScope) система адіабатичного охолодження не вимагає серйозної підготовки води, так як зволоження відбувається із застосуванням недорогих елементів, що замінюються. Витрати їх заміну непорівнянні з витратами глибоку підготовку води. Для доохолодження та резервного охолодження ЦОД у цьому випадку, на думку фахівця «Крок», найдоцільніше використовувати фреонову систему прямого випаровування (DX). За наявності фрикулінгу та адіабатичного охолодження сумарний час використання резервної/додаткової системи протягом року вкрай мало, тому немає сенсу прагнути її високої енергоефективності.

Компанія «Ланіт-Інтеграція» запропонувала систему непрямого фрикулінгу з адіабатичним охолодженням. У такій системі не відбувається змішування потоків зовнішнього та внутрішнього повітря, що особливо важливо при розміщенні ЦОД у межах міста через високе забруднення повітря. Як додаткова у цьому проекті обрана чиллерная система - вона включатиметься лише найнесприятливіші для основної системи періоди.

МІСІЯ НЕЗДІЙСНЕННА?

У нашому завданні була прихована каверза, яку не помітили (скоріше, не захотіли помітити) більшість конкурсантів. Зазначені замовником загальна повна потужність ІТ-обладнання (240 кВт) та максимальна підведена потужність (300 кВт) залишають для інженерних та інших допоміжних систем лише 60 кВт. Виконання цієї умови потребує застосування дуже енергоефективних інженерних систем: PUE = 1,25 (300/240).

Теоретично досягнення такого показника цілком можливе при використанні прямого фрикулінгу та адіабатичного охолодження, запропонованих «Крок» та CommScope. І остання має приклади проектів за кордоном, де досягається навіть менше значення PUE. Але ефективність застосування зазначених технологій охолодження залежить від рівня забруднення та кліматичних параметрів у місці розміщення. У поставленому завданні достатніх даних не було надано, тому на даному етапі не можна однозначно стверджувати, чи допоможе прямий фрикулінг «вкластися» в обмеження по підведеній потужності.

У рішенні з непрямим фрикулінгом, запропонованим компанією «Ланіт-Інтеграція», вказано розрахунковий PUE 1,25–1,45. Таким чином, цей проект не вкладається у задані обмеження. Що стосується рішень із системами чиллерного охолодження та фреоновими кондиціонерами, їхня енергоефективність ще нижча, а отже, загальне споживання ЦОД вища.

Наприклад, за розрахунком Дениса Шарапова, пікове енергоспоживання запропонованого Schneider Electric рішення складає 429,58 кВт - при максимальному ІТ-навантаженні (240 кВт), температурі навколишнього повітря вище 15°С, в момент заряду батарей ДБЖ, з урахуванням усіх споживачів (у тому числі систем моніторингу, ДУ). Це на 129 кВт перевищує підведену потужність. Як варіант вирішення завдання він запропонував виключити із конфігурації високонавантажені стійки (20 кВт) або забезпечити регулярне постачання палива для забезпечення постійної роботи ДГУ потужністю не менше 150 кВт.

Звичайно, експлуатація ЦОД із завантаженням 100% дуже малоймовірна – на практиці такого майже ніколи не трапляється. Тому визначення загальної споживаної потужності МЦОД фахівці компанії GreenMDC запропонували прийняти коефіцієнт попиту сумарну потужність ІТ-обладнання рівним 0,7. (За їхніми даними, для корпоративних ЦОД значення цього коефіцієнта перебуває в інтервалі від 0,6 до 0,9.) З урахуванням цього припущення розрахункова потужність для машзалу становитиме 168 кВт (24 шафи по 5 кВт; 6 шаф по 20 кВт; коефіцієнт попиту - 0,7: (24х5 + 6х20).

КОРЕКТУВАННЯ ЗАВДАННЯ

Але навіть з урахуванням висловленого вище зауваження про неповне завантаження, для надійного електропостачання ЦОД замовнику, мабуть, доведеться вирішувати питання про збільшення підведеної до майданчика потужності та відмовитися від мрії створити ЦОД зі значенням PUE на рівні найкращих світових показників об'єктів масштабу Facebook та Google. Та й не потрібна така енергоефективність звичайному корпоративному замовнику – особливо з урахуванням невисокої вартості електроенергії.

Як вважає Олександр Ласий, оскільки потужність ЦОД зовсім невелика, то й звертати особливу увагу на енергоефективність не має особливого сенсу, оскільки вартість рішень, що дозволяють суттєво скоротити споживання електроенергії, може значно перевищувати величину економії за період. життєвого циклуЦОД.

Отже, щоб замовник взагалі не залишився без ЦОД, ми знімаємо обмеження щодо підведеної потужності. Які ще коригування можливі? Зауважимо, що чимало компаній скрупульозно виконали побажання замовника щодо кількості/потужності стійок та «кванту» нарощування в 5 стійок. А компанії «Крок» та CommScope запропонували навіть менший «квант» - модулі на 4 стійки.

Однак ряд компаній, ґрунтуючись на наявних у їхньому портфелі пропозицій типових конструктивах, дещо відійшли від умов завдання. Наприклад, як зазначає Олександр Переведенцев, головний спеціалістдепартаменту підтримки продажів компанії «Техносерв», «з нашого досвіду на Наразіактуальним є розвиток (масштабування) ЦОД кластерами з кроком 15–20 стійок при середній потужності на стійку не менше 10 кВт». Тому "Техносерв" запропонувала рішення на 36 стійок по 10 кВт електричної потужності на одну стійку з кроком нарощування 18 стійок. Контейнери на 18 стійок фігурують і в проекті Huawei, завдяки чому замовник може отримати на 6 стійок більше, ніж запитував.

ПІДГОТОВКА МАЙДАНЧИКИ

Майданчик для встановлення ЦОД слід підготувати - щонайменше вирівняти. Для ЦОД, запропонованого замовнику компанією «Крок», потрібна наявність бетонного фундаменту у вигляді несучої плити, розрахованої на відповідне навантаження.

Крім того, майданчик повинен бути забезпечений відливами для стікання дощової та талої води. «Оскільки снігу в нашій країні іноді випадає досить багато, щоб уникнути поломок та протікань доцільно обладнати майданчик легкозбірними односхилими навісами», - рекомендує Олександр Ласий.

Будівництво на майданчику бетонного фундаменту передбачається у більшості проектів. При цьому низка фахівців вказала на те, що вартість зведення фундаменту непорівнянна із загальною вартістю проекту, тому на ньому економити не варто.

Окремо стоїть МЦОД NOTA компанії «Утілекс», для якого фундамент не потрібний. Такий ЦОД можна встановлювати та запускати на будь-який рівному майданчикуз ухилом трохи більше 1–2%. Подробиці – нижче.

ЧАС…

Як зазначає Олександр Ласий, найважливіший і трудомісткий процес - це проектування ЦОДу, оскільки помилки, допущені на стадії проектування, після випуску модулів з виробництва вкрай важко усунути. За його даними, зазвичай на підготовку та погодження ТЗ, проектування, погодження та затвердження проекту йде від 2 до 4 місяців. Якщо замовник вибирає типові рішення, процес може скоротитися до 1–2 місяців.

Якщо замовник віддасть перевагу рішенням CommScope, виробництво і постачання попередньо зібраних модулів і всього супутнього обладнання займуть 10-12 тижнів для стартових комплектів і 6-8 тижнів для додаткових модулів. Складання стартового комплекту лінійки з 5 модулів на підготовленому майданчику - не більше 4-5 днів, пусконалагоджувальні роботи - 1-2 тижні. Таким чином, після погодження та затвердження проекту, укладання договору та оплати необхідного авансу (зазвичай це 50–70%) через 12–14 тижнів ЦОД буде готовим до експлуатації.

Термін реалізації проекту на базі рішення «ланіт-інтеграція» - близько 20 тижнів. При цьому на проектування потрібно близько 4 тижнів, на виробництво (включаючи системи охолодження) – 8 тижнів, на доставку – 4 тижні, на встановлення та запуск – ще 4 тижні.

Подібні терміни вказують й інші компанії, причому немає великої різниці, де знаходяться складальні потужності – за кордоном чи в Росії. Скажімо, середній термін здачі під ключ МЦОД Schneider Electric – 18–20 тижнів (без проектування). Тривалість основних етапів (пов'язаних із встановленням першого та наступного модулів та здаванням їх під ключ) при спорудженні МЦОД «Утилекс» NOTA становить від 12 тижнів. А тривалість етапів, пов'язаних з розширенням кожного модуля (додаванням до нього 5 стійок та відповідних інженерних систем) – від 8 тижнів.

Очевидно, що зазначені терміни є приблизними. Багато залежить від географічного розташуваннямайданчики замовника, якості організації робіт та взаємодії всіх учасників процесу (замовника, інтегратора та виробника). Але в будь-якому випадку від ідеї до повної реалізації проекту проходить лише півроку чи трохи більше. Це у 2–3 рази менше, ніж під час будівництва ЦОД традиційними методами (з капітальним будівництвом чи реконструкцією будівлі).

…І ГРОШІ

Інформація про вартість ми отримали далеко не від усіх учасників. Проте отримані дані дозволяють скласти уявлення про структуру і зразкову величину витрат.

Олександр Ласий докладно розписав замовнику структуру та послідовність його витрат при виборі рішення від «Крок» та CommScope. Отже, 10% піде на проектування, 40% - на запуск стартового комплекту (12 ІТ-стійок), 5% - на завершення першої лінійки (розширення + 4 ІТ-стійки), 35% - на запуск стартового комплекту другої лінійки (8 ІТ-стійок), 5% - на розширення (+ 4 ІТ) ). Як бачимо, розподіл витрат рівномірний – саме цього й хотів замовник, коли задумався про вибір модульного ЦОДу.

Чимало замовників вважають, що після недавніх стрибків курсу рубля важливим у справі зниження та/або фіксування вартості є локалізація запропонованих рішень. За словами Олександра Переведенцева, співробітники компанії "Техносерв" останні півроку активно займаються пошуком виробників вітчизняного обладнання, зокрема в галузі інженерних систем. На даний момент при реалізації ЦОД ступінь локалізації інженерних систем становить 30%, а у рішеннях високої готовності, до яких належить остання версіямодульного ЦОД «ІТ Екіпаж» - не менше 40%. Вартість МЦОД «ІТ Екіпаж» на 36 стійок потужністю 10 кВт кожна з можливістю подальшого розширення та рівнем відмовостійкості Tier III варіюватиметься від 65 до 100 тис. доларів за одну стійку. При перерахунку за курсом 55 руб. за долар виходить від 3,5 до 5,5 млн. руб. за стійку. Але це, наголосимо, рішення рівня Tier III, тоді як більшість інших компаній запропонували рівень Tier II, як запитував замовник.

Якщо «Техносерв» не преминув похвалитися рівнем локалізації 40%, то представники «Утілексу» скромно замовчали про те, що в їх вирішенні цей показник суттєво вищий, оскільки все основне інженерне обладнання, включаючи кондиціонери та ДБЖ, - вітчизняного виробництва. Вартість МЦОД «Утилекс» NOTA (з розрахунку 24 стійки по 5 кВт та 6 стійок по 20 кВт) – 36 400 доларів на стійку. За курсом 55 руб. за 1 долар виходить близько 2 млн. руб. за стійку. У цю суму входять всі витрати з доставки до місця розміщення в межах РФ і вартість всіх робіт з монтажу та запуску, включаючи витрати на відрядження і накладні. Як відзначають представники «Утілекс», загальну вартість МЦОД можна знизити, розмістивши всю інфраструктуру в одному модулі NOTA великих розмірів (5,4 х16, 8х3 м): 10 стійок на першому етапі та додавання по 5 стійок на наступних. Але в цьому випадку капітальні витрати на першому етапі потрібно збільшити, а при відмові замовника від масштабування МЦОД кошти будуть витрачені неефективно.

Дмитро Степанов, директор бізнес-напрямку компанії "Президент-Нева "Енергетичний центр", оцінив вартість одного модуля (контейнера) на 10-12 стійок в 15-20 млн рублів. У цю суму входить вартість всіх інженерних систем, що перебувають у складі модуля, включаючи кондиціонери та ДБЖ, але не включена вартість ДДУ. За його словами, при виборі замість ДБЖ та кондиціонерів компанії Emerson Network Power більш дешевих інженерних компонентів можливе зниження вартості до 11-12 млн рублів.

Вартість проекту GreenMDC на першому етапі становить приблизно 790 тис. євро (підготовка майданчика – 130 тис. євро, перша черга МЦОД – 660 тис. євро). Загальна вартість всього проекту на 32 стійки, включаючи ДГУ, - 1,02 млн. євро. За курсом на момент підготовки матеріалу (59 рублів за євро) виходить 1,88 млн. рублів у перерахунку на одну стійку. Це один із найвигідніших варіантів.

В цілому, якщо говорити про рішення на базі фреонових кондиціонерів, «точкою відліку» для замовника може бути рівень 2 млн рублів у перерахунку на одну стійку. Варіант на основі чилерної системи приблизно в 1,5 раза дорожчий. Причому різниця у вартості «російських» та «імпортних» рішень навряд чи сильно відрізнятиметься, оскільки навіть у вітчизняних кондиціонерах («Утилекс») використовуються імпортні комплектуючі. На жаль, не виробляється в Росії сучасних компресорів, і нічого тут не вдієш!

ОСОБЛИВОСТІ ПРОПОЗОВАНИХ РІШЕНЬ

"ГрандМоторс"

Основний - ІТ-модуль («Машинний зал») формується на базі суцільнометалевого блоку-контейнера і складається з апаратного відсіку та тамбуру. Для забезпечення заданого «кванту» нарощування в апаратному відсіку кожного ІТ-модуля встановлюються 4 стійки потужністю до 5 кВт (охолодження рядними кондиціонерами) та 1 стійка потужністю до 20 кВт (охолодження безпосередньо пристикованим до неї аналогічним кондиціонером) (див. рис. 3). У цьому ж відсіку знаходиться ДБЖ з батареями. Як кондиціонери замовнику запропоновані (на вибір) агрегати Emerson CRV або RC Group COOLSIDE EVO CW, а як ДБЖ - пристрої серії GMUPS Action Multi або ABB Newave UPScale DPA.

У тамбурі розміщуються електричні щити та обладнання системи газового пожежогасіння. За потреби у тамбурі можлива організація робочого місця диспетчера чи чергового персоналу.

Як зазначає Данило Кулаков, технічний директор "ГрандМоторс", застосування рядних кондиціонерів продиктовано наявністю різнотипних за потужністю стійок. У разі стійок однієї потужності збільшення ефективності заповнення площі машинного залу можливе використання кондиціонерів зовнішнього розміщення (наприклад, Stulz Wall-Air) - таке рішення дозволить скоротити енергоспоживання системи охолодження за рахунок застосування режиму фрикулінгу.

На першому етапі достатньо змонтувати на майданчику два модулі «Машинний зал» та один «Енергетичний модуль» – в останньому розміщується ДГУ GMGen Power Systems компанії SDMO Industries на 440 кВА. Згодом можливе нарощування доступних обчислювальних потужностей ЦОД із дискретністю один модуль «Машинний зал» (5 стійок), при цьому закладена потужність ДГУ розрахована на 6 таких модулів. Система моніторингу та управління забезпечує доступ до кожної одиниці обладнання та на верхньому рівніреалізовано на базі SCADA-системи.

Усі передбачені інженерні рішення забезпечують резервування N+1 (за винятком ДДУ - за потреби може бути встановлений генератор). Запропонована архітектура побудови інженерних систем дозволяє підвищити рівень резервування вже під час створення ЦОД.

«Крок»/CommScope

Провідний світовий виробник рішень у галузі кабельної інфраструктури компанія CommScope відносно нещодавно вийшла на ринок модульних ЦОД, що дозволило їй врахувати багато недоліків продуктів першого покоління. Вона запропонувала будувати ЦОДи із попередньо зібраних на виробництві модулів високого ступеняготовності, назвавши своє рішення «ЦОД на вимогу» (Data Center On Demand, DCoD). Ці рішення вже інстальовані та успішно використовуються у США, Фінляндії, ПАР та інших країнах. У Росії за участю «Крок» зараз опрацьовується три проекти DCoD.

Базові модулі DCoD розраховані на встановлення 1, 4, 10, 20 або 30 стійок з ІТ-обладнанням. Олександр Ласий, технічний директор департаменту інтелектуальних будівель «Крок», який представив нашому замовнику проект, запропонував збирати рішення із типових модулів DCU-4, розрахованих на 4 стійки (можна замовити і нетипові, але це здорожчить проект приблизно на 20%). Такий модуль включає системи охолодження (у тому числі автоматику для управління), первинного розподілу і комутації електроживлення.

Стартовий блок складатиметься з 4 типових модулів (див. рис. 4). Його повна ємність -16 стійок, що дозволить на 6 надлишкових стійко-місцях розмістити ДБЖ необхідної потужності та АКБ, а також обладнання систем безпеки та моніторингу. Підсумкова конфігурація "машзала" (лінійки) складатиметься з 5 модулів по 4 стійки, тобто всього 20 стійок, 2 з яких можуть мати сумарну потужність ІТ-обладнання до 20 кВт. При цьому модуль (4 стійки) буде відведений під систему безперебійного електроживлення (СБЕ) і може бути ізольований від основного машзала перегородкою для розмежування доступу обслуговуючого персоналу.

Друга лінійка повністю аналогічна конструкції першої, але її стартовий комплект складається не з 4, а з 3 модулів на 4 стійки. У ньому одразу буде виділено місце для СБЕ, систем безпеки та моніторингу. Втім, як зазначає Олександр Ласий, внаслідок накопичення досвіду експлуатації першої лінійки до початкового плану конфігурації можуть бути внесені корективи.

Потужність ІТ-обладнання першої лінійки в початковій інсталяції (12 стійок) складе близько 60 кВт, а після нарощування (16 стійок) - 90 кВт, включаючи каналоутворювальне обладнання провайдерів та головні комутатори ЦОД. Для забезпечення працездатності ЦОД при відмові зовнішнього електроживлення необхідно передбачити безперебійне живлення вентиляторів та контролерів системи охолодження. Потужність цього обладнання становитиме ще приблизно 10 кВт. Отже, потужність СБЕ перевищить 100 кВт. Модульний ДБЖ для такого навантаження з часом автономії не менше 10 хв і шафою комутації електроживлення займатиме приблизно 4 стійко-місця.

Як уже говорилося вище, особливість запропонованого рішення - у викорис ванні для охолодження прямого фрикулінгу з адіабатичним зволоженням. Для доохолодження та резервного охолодження запропоновано фреонову систему (DX).

Ланіт-Інтеграція

Замовнику запропоновано рішення на основі модульного приміщення фізичного захисту SME E-Module (див. рис. 5): із стандартних компонентів можуть бути швидко зведені захищені приміщення будь-якої геометрії для ЦОД площею від 15 до 1000 м 2 . Для нашого завдання площа приміщення – не менше 75 м 2 . Серед особливостей конструкції - високий рівень фізичного захисту від зовнішніх впливів (за рахунок сталевого несучого каркасу балково-колонного типу та посилених панелей конструктиву), вогнестійкості (60 хв за EN1047-2) та пиловологозахищеності (IP65). Гарні теплоізолюючі властивості дозволяють оптимізувати витрати на охолодження/обігрів.

Для охолодження ІТ-обладнання вибрано систему непрямого фрикулінгу SME FAC (Fresh Air Cooling) з адіабатичним зволоженням. У такій системі не відбувається змішування потоків зовнішнього та внутрішнього повітря. Для проекту вибрано блоки SME FAC, що дозволяють відводити до 50 кВт тепла кожен (для 10 стійок по 5 кВт). Вони будуть додаватися при необхідності - при збільшенні кількості стійок, а також при підвищенні навантаження окремих стійок до 20 кВт.

Навколо МПФЗ E-Module необхідно передбачити зону для встановлення та обслуговування установок охолодження SME FAC шириною по периметру не менше 3 м. Крім того, проектом передбачена чиллерна система, проте задіяна вона буде лише у найнесприятливіші для основної системи періоди. За оцінками «ланіт-інтеграції», ЦОД зможе працювати без включення чилерів до 93% часу в році (при температурі зовнішнього повітря до +220C).

Роздача холодного повітря здійснюватиметься під фальшпідлогою. За потреби МЦОД можна оснастити системою контейнеризації холодних рядів SME Eficube.

СБЕ реалізується на базі моноблочних ДБЖ Galaxy 5500 компанії Schneider Electric. На першому етапі будуть встановлені 2 джерела Galaxy 5500 по 80 кВА. У подальшому паралель буде додаватися необхідне число ДБЖ. У паралельній системі може бути до 6 таких модулів, відповідно вона здатна підтримувати навантаження 400 кВА в режимі N+1.

Рішення щодо забезпечення контролю та безпеки Забезпечення середовища також будується на основі продукту Schneider Electric - системи InfraStruXure Central.

Пропозиція «ланіт-інтеграції» виглядає однією з солідних, особливо в частині рівня захищеності приміщення та складу системи охолодження. Однак низка моментів - наприклад, пропозиція розгорнути повноцінну чиллерну систему, яка використовуватиметься лише невелику частину часу на рік, - припускають високу вартістьцього проекту. На жаль, інформація про вартість нам не була надана.

«Президент-Нева»

Компанія запропонувала замовнику рішення на базі блок-контейнера класу «Північ». Завдяки такому конструктиву рішення може працювати за температури до –50°С, підтвердженням чого є позитивний досвід експлуатації трьох МЦОД «Газпромнефть-Хантос» на Приобському родовищів районі Крайньої Півночі (всього в активі компанії "Президент-Нева" - 22 побудованих МЦОД).

Контейнер має поперечні перегородки, що поділяють його на три приміщення: тамбур і два приміщення для шаф з ІТ-обладнанням, а також перегородку між холодним і гарячим коридорами всередині ІТ-приміщень (див. рис. 6). В одному приміщенні буде встановлено 8 стійок на 5 кВт, в іншому – 2 високонавантажені стійки на 18 кВт. Між приміщеннями встановлені ролетні двері, при відкритті яких в апаратному відсіку забезпечуються єдиний холодний і гарячий коридори.

Інженерну "начинку" ЦОД складає обладнання Emerson Network Power. Для охолодження приміщення зі стійками на 5 кВт використовують стельові кондиціонери Liebert HPSC14 (холодопродуктивність 14,6 кВт) з підтримкою фрикулінгу. У ньому розміщуються чотири таких кондиціонери. Ще один Liebert HPSC14 встановлюється у приміщенні з високонавантаженими стійками та СБЕ (ДБЖ та АКБ). Але він служить лише доводчиком, а основне навантаження знімають потужніші рядні кондиціонери Liebert CRV СR035RA. Завдяки функції аварійного фрикулінгу Liebert HPSC14 здатний забезпечити охолодження протягом невеликого періоду часу при відключенні основного електроживлення, коли відбувається запуск ДГУ.

СБЕ складається з модульного ДБЖ Emerson серії APM (резервування N+1) та блоку батарей. Зовнішній байпас ДБЖ передбачений у вступно-розподільчому пристрої (ВРУ), розміщеному в тамбурі. Як ДГУ запропонований агрегат FG Wilson потужністю 275 кВА.

Замовник може розпочати розвиток свого ЦОД з рішення для стійок на 5 кВт, а потім, коли виникне необхідність, контейнер буде дообладнаний кондиціонерами CRV та модулями ДБЖ, необхідними для роботи високонавантажених стійок. При заповненні першого контейнера буде встановлено другий, далі – третій.

Хоча в даному рішеннізамовнику запропоновані інженерні системи Emerson Network Power, як наголошує Дмитро Степанов, МЦОДи компанії «Президент-Нева» виконуються і з використанням обладнання інших виробників – зокрема, таких компаній, як Eaton, Legrand та Schneider Electric. При цьому враховуються корпоративні стандарти замовника з інженерних підсистем, а також усі технічні вимогивиробника.

«Техносерв»

Модульний ЦОД «ІТ Екіпаж» - це комплексне рішенняна основі швидкомонтованих конструкцій із встановленими (на заводі) інженерними системами. Один модуль ЦОД включає серверний блок для встановлення ІТ-обладнання, а також інженерний блок для забезпечення його безперебійної роботи. Блоки можуть бути встановлені поруч на одному рівні (горизонтальна топологія) або один на одному (вертикальна топологія): внизу інженерний блок, зверху - серверний. Для нашого замовника обрано вертикальну топологію.

На розгляд замовника представлено два варіанти реалізації МЦОД «ІТ Екіпаж»: комплектації «Стандарт» та «Оптимум». Основна їх відмінність - у системі кондиціювання: у варіанті "Стандарт" реалізована система прецизійного кондиціювання з використанням чиллерної води, в "Оптімумі" - система з використанням фреонового холодоносія.

Серверний блок той самий. В одному блоці можуть бути встановлені до 18 серверних стояків для розміщення активного обладнання. Машинний зал пропонується сформувати з двох серверних блоків. Серверні блоки та коридорний блок розташовуються на другому поверсі та поєднуються в єдиний технологічний простір (машинний зал) шляхом демонтажу перегородок (див. рис. 7).

У просторі під фальшпідлогою серверного блоку МЦОД «Стандарт» встановлені кондиціонери (водяне охолодження). У МЦОД «Оптимум» охолодження ІТ-обладнання здійснюється за допомогою прецизійних кондиціонерів, які розміщуються в інженерному блоці. Системи кондиціювання зарезервовані за схемою 2N.

Інженерний блок розділений на 3 відсіки: для встановлення СБЕ; засобів холодопостачання та (опціонально) сухої градирні. У відсіку СБЕ знаходиться шафа з ДБЖ, акумуляторні батареї та щитове обладнання. СБЕ має резервування N+1.

У відсіку холодопостачання МЦОД «Стандарт» встановлені два чиллери, гідромодуль, що акумулюють баки. Реалізована система холодопостачання дозволяє досягти рівня резервування 2N у межах одного модуля ЦОД та 3N у межах двох сусідніх модулів ЦОД - за рахунок об'єднання контурів системи охолодження. У системі холодопостачання реалізовано функцію фрикулінгу, що дозволяє суттєво скоротити експлуатаційні витрати та збільшити ресурс холодильних машин.

Вище вже йшлося про високий (40-відсотковий) рівень локалізації інженерних систем МЦОД «ІТ Екіпаж». Однак представники «Техносерв» так і не розкрили інформацію про те, кондиціонери та ДБЖ якого виробника вони використовують. Очевидно, цей секрет замовник зможе дізнатися в ході детальнішого опрацювання проекту.

«Утілекс»

Модульний ЦОД NOTA створюється на базі швидкомонтованої каркасної конструкції, що легко демонтується, яка перевозиться в стандартному ISO-контейнері. Його основу складає металевий каркас, який збирається на місці установки готових елементів. Основа складається з герметичних несучих панелей, які монтуються на рівній площадці, виконаній з теплоізоляційних плит«Піноплекс», укладених у 3 шари у шаховому порядку. Фундамент не потрібний! Стіни та покрівля МЦОД виконані із сендвіч-панелей. Для встановлення обладнання в ЦОД монтується фальшпідлога.

Проект створення ЦОД пропонується реалізувати в 5 етапів. На першому етапі створюється інфраструктура МЦОД для розміщення 10 стійок із середнім споживанням 5 кВт на стійку та можливістю збільшення споживання 2 стійок до 20 кВт кожна (див. рис. 8). СБЕ реалізується на базі модульного ДБЖ виробництва «Зв'язок Інжиніринг» та АКБ, що забезпечують автономну роботу протягом 15 хв (з урахуванням споживання технологічного обладнання- кондиціонери, освітлення, СКУД тощо). При необхідності підтримки ІТ-навантаження 20 кВт у 2 стійках, до складу ДБЖ додаються силові модулі та додаткові батареї.

Система кондиціювання реалізується на базі 4 прецизійних рядних кондиціонерів Сlever Breeze виробництва «Утілекс» з охолодною здатністю 30 кВт кожен. Зовнішні блоки розміщуються на торцевій стіні МЦОД. Контролери, що входять до складу кондиціонерів Clever Breeze, служать основою для системи дистанційного моніторингу та управління. Остання забезпечує моніторинг температури холодного та гарячого коридорів, стану ДБЖ та вологості в приміщенні; аналізує стан та холодопродуктивність кондиціонерів; виконує функції системи контролю та управління доступом до приміщення.

На другому етапі встановлюється другий модуль МЦОД на 5 стійок з навантаженням 5 кВт (у цьому та наступних «квантах» розширення передбачена можливість збільшення навантаження на 1 стійку до 20 кВт). При цьому площа модуля має резерв для розміщення ще 5 стійок (рис. 9), які будуть встановлені на третьому етапі. Четвертий та п'ятий етапи розвитку ЦОД аналогічні другому та третьому. На всіх етапах використовуються розглянуті вище елементи інженерної інфраструктури (ДБЖ, кондиціонери), які нарощуються за необхідності. ДГУ встановлюється в розрахунку відразу на всю заплановану потужність ЦОД - фахівці «Утілекс» вибрали агрегат WattStream WS560-DM (560 кВА/448 кВт), що розміщується у власному кліматичному контейнері.

Як відзначають фахівці «Утілекс», інфраструктура МЦОД NOTA дозволяє нарощувати площу модулів у міру збільшення числа стійок за рахунок додавання необхідної кількості несучих панелей у основу. Це дозволяє рівномірно розподіляти капітальні витрати на створення модулів за етапами. Але в даному варіанті створення меншого модуля (з габаритами 5,4 х4, 2х3 м) економічно недоцільне, оскільки невелике зниження капітальних витрат на модуль буде «компенсовано» потребою двічі інвестувати в систему пожежогасіння (на другому та третьому етапах).

Важливою перевагою МЦОД «Утилекс» NOTA за умов орієнтації на імпортозаміщення є виробництво більшості підсистем центру обробки даних у Росії. Автономна інфраструктура МЦОД NOTA, стійки, системи кондиціювання, дистанційного моніторингу та управління виробляються самої «Утілекс». СБЕ – компанією «Зв'язок Інжиніринг». Система автоматичного газового пожежогасіння – компанією «Пожтехніка». Обчислювальна та мережева інфраструктура ЦОД також може бути реалізована на базі рішень російського виробництва- Компанії ETegro Technologies.

GreenMDC

Замовнику запропоновано модульний ЦОД Telecom Outdoor NG, що складається з модулів Telecom (призначений для розміщення стійок з ІТ-обладнанням), Cooling (системи охолодження) та Energy (СБЕ, електрощити). Усі модулі виготовляються з виробництва GreenMDC, а перед відправкою замовнику МЦОД збирається на тестовому майданчику, де здійснюється повне тестування. Потім МЦОД розбирається та модулі транспортуються до місця призначення. Окремі модулі є металевими конструкціями з встановленими і підготовленими для транспортування стінами (див. рис. 10).

Система відведення тепла від обладнання реалізована на базі прецизійних шаф кондиціонерів HiRef з подачею холодного повітря під фальшпідлогу. СБЕ - на модульних ДБЖ Delta. Розподільча електрична мережавиконана резервованими шинопроводами - підключення стійок здійснюється шляхом встановлення на шинопроводи відгалужувальних коробок з автоматичними вимикачами.

У рамках першого етапу проекту виконуються підготовка майданчика, встановлення ДДУ, а також 3 модулів ЦОД (див. рис. 10): модуль Telecom на 16 стійок (10 стійок по 5 кВт, 6 стійко-місць залишаються незаповненими); модуль Cooling з 2 кондиціонерами по 60 кВт та модуль Energy з 1 модульним ДБЖ. ДБЖ складається з шасі на 200 кВА і 3 модулів по 25 кВт (для ДБЖ Delta DPH 200 значення в кіловатах і кіловольт-амперах ідентичні). Для забезпечення безперебійної роботи інженерних систем встановлюється 1 модульний ДБЖ: шасі на 80 кВА та 2 модулі на 20 кВт.

На другому етапі розширення здійснюється в рамках наявних модулів МЦОД: модуль Telecom додаються ще 6 стійок. Підвищення електричної потужності досягається шляхом додавання силових модулів модульні ДБЖ, а потужності охолодження - збільшенням числа кондиціонерів. Усі комунікації (фреонопроводи, електрика) для кондиціонерів прокладаються ще першому етапі. За потреби встановлення стійки з високим споживанням реалізується аналогічний алгоритм збільшення потужності. Крім того, практикується ізоляція холодного коридору та, при необхідності, встановлення активних плиток фальшпідлоги.

На третьому етапі встановлюється другий модуль Telecom, що дозволить розмістити МЦОД до 32 стійок. Збільшення потужності інженерних систем відбувається аналогічно до того, як це робилося на другому етапі - аж до максимальної проектної потужності МЦОД. Операція розширення МЦОД виконується співробітниками постачальника без переривання функціонування встановлених модулів. Термін виробництва та встановлення додаткового модуля Telecom - 10 тижнів. Встановлення модуля – не більше одного тижня.

Huawei

Мобільний ЦОД Huawei IDS1000 складається з кількох стандартних 40-футових контейнерів: один або кілька контейнерів для ІТ-обладнання, контейнер для СБЕ, контейнер для холодопостачання. При необхідності також поставляється контейнер для чергового персоналу та складу.

Для нашого проекту обраний варіант ІТ-контейнера на 18 стійок (6 рядів, у кожному 3 стійки) – див. рис. 11. На першому етапі пропонується розмістити 10 стійок для ІТ-обладнання, 7 рядних кондиціонерів, шафи розподілу живлення, балони АГПТ та інше допоміжне обладнання. На другому та наступних етапах - додати 8 стійок та 5 рядних кондиціонерів у перший контейнер, встановити другий контейнер та розмістити в ньому необхідну кількість стійок з кондиціонерами.

Максимальна потужність одного ІТ-контейнера становить 180 або 270 кВт, отже, від кожної стійки можна відвести до 10 і 15 кВт відповідно. У пропозиції Huawei окремо не розглядається розміщення стійок на 20 кВт, але оскільки допустима потужність на кожну стійку вище за запитаних замовником 5 кВт, навантаження можна перерозподілити.

Холодопостачання рядних кондиціонерів здійснюється від системи чилерів, розташованих на каркасі окремого контейнера. Крім того, в окремому контейнері розміщується СБЕ (ДБЖ та АКБ). ДБЖ конфігурується в залежності від розрахункового навантаження з кроком 40 кВт (максимально 400 кВА).

До складу рішення Huawei включила систему управління нового покоління NetEco, яка дозволяє контролювати функціонування всіх основних систем: електропостачання (ДГУ, ДБЖ, PDU, АКБ, розподільні щити та АВР), холодопостачання (кондиціонери), безпеки (СКУД, засоби відеоспостереження). Крім того, вона здатна відстежувати стан довкілля, використовуючи різні датчики: диму, температури, вологості та протікання води.

Головна особливість та перевага пропозиції Huawei полягають у тому, що всі основні компоненти, включаючи кондиціонери та ДБЖ, від одного виробника – самої компанії Huawei.

Schneider Electric

В основі запропонованого МЦОД - типові модулі NON-ISO25 всепогодного виконання з високими вогнетривкими характеристиками (EI90 згідно з EN-1047-2). Доступ контролюється СКУД із біометричним датчиком. Модулі доставляють на місце установки незалежно, потім стикуються, утворюючи єдиний конструктив.

Перша стадія - найбільш об'ємний і витратний етап, на якому вирівнюється і зміцнюється основа (наливається стяжка), встановлюються два чіллери (агрегати Uniflair ERAF 1022A з функцією фрикулінгу), ДГУ, енергомодуль та один ІТ-модуль (10 стійок), повністю монтується вся. Енергомодуль та ІТ-модуль утворюють три приміщення: енергоцентр, машинний зал, вхідний шлюз/тамбур (див. рис. 12).

У приміщенні енергомодуля встановлюються ДБЖ APC Symmetra 250/500 (з комплектом батарей та байпасом), щитове обладнання, система газового пожежогасіння, основне та аварійне освітлення, система охолодження (2 (N+1)) кондиціонера SE AST HCX CW 20kW. Від ДБЖ запитуються ІТ-обладнання, кондиціонери та помпи. ІТ-модуль першої стадії поставляється з 10 встановленими стійками (AR3100), PDU, шинопроводом, системою ізоляції гарячого коридору та системою охолодження на базі SE AST HCX CW 40kW (2+1). Зазначені кондиціонери спеціально розроблені для модульних ЦОД: вони кріпляться над стійками і, на відміну, скажімо, від рядних кондиціонерів не займають корисне місцеу ІТ-модулі.

На другій стадії до першого ІТ-модулю пристиковується другий, що поставляється з 5 стійками, а в іншому комплектується так само, як перший (тільки на цій стадії активуються 2 (1+1) з 3 кондиціонерів). Крім того, встановлюється ще один чилер, а модульний ДБЖ дооснащується необхідним комплектом батарей та інверторів. Третя стадія розвитку ЦОД зводиться до додавання до другої ІТ-модуль 5 стійок та активації третього кондиціонера. Четверта та п'ята стадія аналогічні другої та третьої.

Як система управління запропоновано комплекс StruxureWare класу DCIM.

В результаті замовник отримає рішення, що повністю відповідає його вимогам, від одного зі світових лідерів у галузі модульних ЦОД. На даному етапі Schneider Electric не надала інформації щодо вартості рішення.

ВИСНОВОК

Вище було коротко розглянуто основні конструктивні особливості запропонованих ЦОД, а також їх систем охолодження та електроживлення. Докладніше ці системи представлені в описах проектів, доступних на сайті. Там же надано інформацію про інші системи, включаючи засоби газового пожежогасіння, систему контролю та управління доступом (СКУД), комплексну систему управління тощо.

Замовник отримав 9 проектів, які в основному задовольняють його вимоги. Представлені описи та характеристики продуктів переконали його в головному: сучасні модульні рішення дозволяють отримати повнофункціональний ЦОД, при цьому терміни реалізації проекту в кілька разів менші, ніж за традиційного підходу (з капітальним будівництвом або реконструкцією будівлі), а кошти можна вкладати поступово, у міру зростання потреб та відповідного масштабування ЦОД. Остання обставина для нього надзвичайно важлива за нинішніх умов.

Олександр Барсков- провідний редактор «Журналу мережевих рішень/LAN». З ним можна зв'язатися на адресу:

Центр обробки даних (ЦОД) є будівлею, його частиною або мобільним модулем. Основною функцією ЦОД є розміщення обладнання, необхідного для зберігання та обробки інформації. Також у центрі обробки даних розміщуються допоміжні засоби, що забезпечують його роботу відповідно до стандарту EIA/TIA-942.

Мобільні центри обробки даних

Контейнерні (модульні) ЦОД являють собою комплекси телекомунікаційної, інформаційної та інфраструктури, що забезпечує, змонтовані в одному або декількох мобільних модулях. Окремі елементи таких ЦОД створюються у вигляді спеціалізованих контейнерів. Вони забезпечують оперативне розгортання модулів, а також зручність транспортування. Модулі мають важливу антивандальну функцію.

Типова комплектація МЦОД

Модульні ЦОДи: основні переваги

Можливості для швидкої організаціїу будь-якій точці та оперативність розгортання. На виробництво, доставку та підключення необхідно не більше 3-5 місяців.
Невисока вартість (порівняно зі стандартними стаціонарними центрами).
Масштабованість. За потреби ви зможете швидко збільшити обчислювальні потужності.
Відокремленість. Приміщення не потрібно поділяти з іншими центрами.
Гнучкість. Можливе налаштування рішення, яке повністю відповідає особливим вимогам клієнта.
Висока стійкість до відмов. Здійснюється резервування критичних систем.
Максимальний рівень готовності до експлуатації. На об'єкті не потрібне проведення будь-яких робіт з будівництва та монтажу МЦОД.
Висока надійність усіх систем. Застосовується лише обладнання провідних світових виробників.

Надійність ЦОД: рівні

При побудові ЦОД враховують жорсткі вимоги до приміщення, високі витрати на електроенергію. Розрізняють 4 рівні надійності ЦОД.

Компанія ТОВ «Айсо-енерго» готова запропонувати свій досвід у галузі виконання та реалізації проектів виробництва та постачання мобільних комплексів зв'язку та ЦОД. Одним із напрямків діяльності фірми є виробництво контейнерів зв'язку та мобільних центрівобробки даних для таких Замовників як: ПАТ «МТС», Пенсійний фондРосії, Група "Єврохім", ВАТ "Холдинг МРСК", Збройні сили РФ та інші.

Маючи всі необхідні ресурси:

Фахівці найвищої кваліфікації.
Цехові приміщення 1400 кв. м.
Повний комплекс виробничих інструментівта спеціалізованих верстатів
Відповідна технічна база.
Партнерські відносини з провідними виробниками та постачальниками обладнання.
Досвід реалізації проектів різної складності.
Наявність усіх необхідних ліцензійта сертифікатів.

Фахівці компанії готові:

Розробити та впровадити сучасні концепції щодо створення Центрів обробки даних (ЦОД) та Вузлів зв'язку.
Підібрати сучасне обладнання, що відповідає Вашим вимогам.
Виконати весь комплекс робіт із побудови систем гарантованого безперебійного енергопостачання (СДБЕ), починаючи з проектування, закінчуючи здаванням об'єкта «під ключ» державним наглядовим органам.
Обґрунтувати застосування енергозберігаючих технологій у складних промислових комплексах.
Забезпечити якісний сервіс СДБЕ та МЦОД.
Провести навчання обслуговуючого персоналу Замовника підвищення його кваліфікації.

Фахівці "Айсо-енерго"готові створити ЦОД будь-якого рівня надійності, врахувати ваші індивідуальні побажання. Ми пропонуємо центри обробки даних на основі контейнерів та модулів різних типів.

Модульний ЦОД – це центр обробки даних, що складається з типових елементів системи – модулів. Модуль у єдиному виконанні є мобільним ЦОДом, при об'єднанні кількох таких мобільних осередків ми отримуємо модульну систему. Модулі можуть бути зі стійками, з ДБЖ, з допоміжним обладнанням. Їх можна встановлювати і усередині приміщень. Монтування нових одиниць відбувається зі зростанням потреб.

Модульний контейнеризований центр обробки даних включає ІТ-обладнання, засоби живлення та системи охолодження. Як тільки можна було об'єднати все це в один контейнер, стали все більш поширеними власні модулі від різних постачальників.

Модульні ЦОДи - це технологія, основною метою якої є скорочення та оптимізація витрат на будівництво ІТ-інфраструктури. Те, як розподіляються інфраструктурні ресурси у цій моделі, багато в чому нагадує розподіл обчислювальних потужностей у хмарі. Клієнт платить саме за той обсяг потужностей, який він використовує, і в разі чого може легко наростити або скоротити ресурси. Те саме і з модульним будівництвом дата-центрів: за рішенням замовника ресурси додаються та зменшуються цілком оперативно та відносно недорого.

Переваги мобільних центрів обробки даних

Мобільні центри обробки даних мають ряд переваг у порівнянні зі стаціонарними дата-центрами. Насамперед переваги модульних ЦОД оцінили ті, хто шукає катастрофостійкі рішення, здатні працювати за будь-яких умов – мобільні оператори, сировинний сектор.

По-друге, це компанії, для яких важлива безперервність бізнесу, а вартість простою ІТ-обладнання надзвичайно висока, наприклад, фінансові та страхові компанії, банки.

Ну і по-третє, це постачальники ІТ-послуг, які шукають шляхи скорочення капітальних витрат на будівництво.

Все пізнається в порівнянні, і дешевизна модульних дата-центрів стає очевидною, коли вони опиняються на різних шальках терезів з традиційними. По-перше, модульні ЦОДи не вимагають капітального будівництва чи дорогого переобладнання наявного приміщення. Це настільки потужна перевага, що вона легко перекриває значні недоліки. Будівельнику та замовнику не потрібно інвестувати, що називається, «в бетон». Капітальне будівництво легко з'їдає половину бюджету на розгортання центру обробки даних.

Крім того, збудовані будівлі або ЦОД, розміщений на орендованих площах, не відрізняються мобільністю. Якщо у клієнта закінчується термін оренди або виникає необхідність переїхати в інший офіс, то у випадку з капітальною будовою це обертається інвестиційною катастрофою: доводиться вкладати кошти, які можна порівняти за розмірами з будівництвом ще одного ЦОДу. А модульний дата-центр можна просто розібрати та розгорнути на будь-якому іншому просторі. До того ж він не прив'язаний до об'єму приміщення, тому що саме обсяг об'єктів комерційної нерухомостівиявляється перешкодою до нарощування ІТ-інфраструктури.

Схожість із хмарною моделлю, про яку йшлося трохи вище, полягає в тому, що модульний ЦОД легко масштабується. Наприклад, у вас є відкрита ділянкаплощею тисячу квадратних метрів. Ви можете звести модульний ЦОД достатньої потужності на 300 кв. м, а решту території заповнити новими модулями зі зростанням потреб бізнесу. Таке покрокове масштабування дозволяє значно скоротити як капітальні, так і операційні витрати.

МЦОДи ефективніші: їм не потрібно спеціальної інфраструктури, Термін зведення становить близько 2-3 місяців, вони мобільні і можуть розташовуватися з джерелами дешевої енергії. Крім того, їх можна використовувати для розширення потужності стаціонарних ЦОД.

Якщо провести порівняльний аналізмобільних і стаціонарних центрів обробки даних, то він виглядатиме так:

Стаціонарний ЦОД	Мобільний ЦОД
1. Для розгортання потрібне спеціальне приміщення 2. Має обмеження у масштабуванні. 3. Його складно передислокувати. 4. Термін реалізації проекту – 1 рік. 5. Встановлення та пуско-налагодження центру стаціонарного центру значно дорожче. 6. Експлуатаційні витрати вищі, ніж у мобільного центру	1. Для розгортання МЦОД не потрібно спеціальної будівлі, а отже, початкові витрати та експлуатаційні витрати значно скорочуються. 2. Дозволяє розгорнути інфраструктуру IT на віддаленому майданчику 3. Підходить для мобільних офісів чи пересувних об'єктів. 4. Може застосовуватись для розширення інфраструктури IT (разом зі стаціонарним центром). 5. Можливість розміщення поблизу дешевих джерел енергії, без орендної плати за приміщення, збереження інвестицій при переїзді або переміщенні офісу. 6. Термін реалізації проекту 2 – 3 місяці.

Де б не розміщувалося підприємство, ви завжди можете встановити там мобільний центр. Наявність готових рішень виробництва блок-контейнерів, відсутність або значне скорочення таких етапів як проектування інфраструктури для стаціонарних ЦОД, узгодження проектних рішень з наглядовими органами, будівництво та мінімальні вимоги до підготовки майданчика призводять до значного скорочення термінів постачання та встановлення МЦОД порівняно зі стаціонарами центрами.

Тема мобільних центрів з обробки даних, або Mobile Data Center (MDC) часто висвітлюється в пресі як зарубіжної, так і російської. Це викликає інтерес вітчизняних підприємців та фахівців ІТ-індустрії. Мобільні центри обробки даних здатні вирішити цілу низку завдань, які часто постають перед російськими підприємствами, які працюють у сфері інформаційних технологій.

Мобільні центри обробки даних здатні вирішити цілу низку завдань, які часто постають перед російськими підприємствами та організаціями, що працюють у сфері інформаційних технологій: необхідність розгортання нових стійок у максимально стислий термін або створення нових стійок на короткий часна базі існуючих основних та резервних потужностей та компонентів інженерної інфраструктури за відсутності приміщень або за невідповідності наявних приміщень вимогам, що пред'являються до ЦОД.

Крім того, МЦОД дозволяють створити тимчасове серверне приміщення у той момент, коли стаціонарне ще не добудовано або не введено в експлуатацію. У тимчасовому приміщенні може бути встановлене обладнання, яке потрібне для функціонування бізнесу в цей період.

Також у разі нестачі спеціалізованого приміщення для розміщення ЦОД, або фахівців необхідної кваліфікації, або стаціонарних центрів обробки даних, які забезпечують необхідний рівень надійності – оптимальним рішеннямможе стати МЦОД. Мобільний ЦОД може застосовуватись для розширення інфраструктури ІТ. При активній експансії до регіонів чи поглинання інших компаній філії відкриваються без затримок, а придбані активи оперативно інтегруються у єдину інформаційну інфраструктуру.

Серед факторів зростання попиту на мобільні центри обробки даних можна назвати збільшення інтернет-трафіку, важливість безперервної роботи інтернет-додатків та інтеграцію зі світовою економікою. Таким чином, мобільні дата-центри перестали бути нішевою пропозицією і стали затребувані не лише в польових умовах, а й у мегаполісах, де не вистачає вільних площ.

«Мобільний ЦОД»: чи потрібний він вам?

Плутанина з трактуванням терміну «мобільний ЦОД», що існує в галузі, здатна не тільки ввести ІТ-директорів в оману, а й привести до вибору неефективного рішення. Походження терміна Термін "мобільні" веде своє походження від рішень, які використовували американські військові. Ці ЦОДи справді мали можливість переміщатися із встановленим усередині обладнання та оперативно розгортатися на новому місці. Розміщувалися такі дата-центри зазвичай у контейнерах, що згодом призвело до змішання визначень: контейнерні ЦОДи стали ототожнювати з мобільними та модульними. Проте існуючі «контейнерні рішення» мають зі своїми військовими попередниками мало спільного – більшість із них не можуть перевозитися із встановленим усередині не лише ІТ-, а й навіть інженерним обладнанням (особливо російськими дорогами). Кому це потрібно? Переміщення центру обробки даних – дуже специфічна потреба та ймовірність того, що вона виникне у компанії, невисока. Якщо такий переїзд і відбудеться, малоймовірно, що він матиме форму військової спецоперації.

Серед характеристик «мобільних» ЦОД більшість клієнтів вважає ключовими наступні:

можливість доставки у віддалені місця;
можливість вибору місця (ближче до користувачів, джерел електроенергії, поряд із будинком);
скорочення термінів реалізації;
можливість поетапного нарощування потужності (на вимогу);
можливість переміщення у майбутньому на нове місце експлуатації.

Саме ці опції і вказують як свої переваги виробники «мобільних» ЦОД на базі ISO-контейнерних рішень. Pre-fabricated ЦОД чи мобільний? Важливо розуміти: крім контейнерних (або мобільних) рішень на ринку існують pre-fabricated (або збирані з попередньо вироблених конструкцій) ЦОД, які не просто надають клієнтам такі ж можливості, але й по ряду ключових характеристик перевершують «контейнерні ЦОДи».

Pre-fabricated ЦОД дають можливість більш гнучкого масштабування (квант масштабування стійки, а не модулі). У pre-fabricated ЦОД немає проблеми недоставка сервісного простору, характерна для «контейнерних» дата-центрів. При цьому деякі збірні модульні ЦОД мають меншу вартість транспортування за більшої гнучкості та навіть швидкості доставки, ніж «мобільні».

Історія

2005-2006: Google і Sun створюють перші контейнерні ЦОДи

Раніше вважалося, що піонером у створенні мобільних ЦОД стала Sun Microsystems випустивши в 2006 р. перший продукт Blackbox. Однак, як стало нещодавно відомо, першопрохідником виступила корпорація Google, яка ще восени 2005 р. створила свій перший дата-центр на базі 45 контейнерів, кожен з яких містив 1160 серверів та споживав 250 кВт електроенергії. Щільність потужності становила 780 Вт на квадратний фут, а температура в холодному проході не перевищувала 27,2 градуса.

2010: У світі продано лише 80 контейнерів

Незважаючи на бурхливе зростання пропозицій МЦОД від провідних виробників, даний сегмент ринку, за оцінками IDC, залишається невеликим, хоч і зростаючим. У 2010 р. у світі продано трохи більше 80 контейнерів, що, однак, удвічі більше, ніж у 2009 році.

Основними факторами розвитку ринку комерційних ЦОД у Росії аналітики компанії J'son & Partners (J&P) називають інтеграцію російського бізнесув світову економіку, зростання інтернет-трафіку, національні проектита держпрограми, а також безперервність роботи як конкурентної перевагикомпаній. Незважаючи на те, що попит на МЦОД поки не великий (поки реалізовано не більше десятка проектів), вже більше семи провідних російських ІТ-компаній розробили і запропонували свої варіанти побудови мобільних центрів обробки даних.

У цей час МЦОД затребуваний у світі компаніями галузі зв'язку, нафтогазового сектора, великими промисловими та виробничими холдингами, підприємствами металургійної сфери, енергетики.

Окремі компанії-інтегратори в Росії продовжують працювати над технологічними рішеннямив цій сфері:

Stack Group, що пропонує мобільне рішення Stack.Куб,

Ряд проектів у цьому напрямку був і у таких компаній, як «Черус» та «Енвіжн Груп».

Однією з причин вибору мобільних дата-центрів є можливість підключити їх у короткі терміни. В середньому, виготовлення МЦОД вимагає від 3 до 6 місяців, а терміни монтажу та підключення обмежуються двома тижнями.

2011: Дослідження ефективності модульних контейнерних ЦОДів

Консорціум The Green Grid опублікував у листопаді 2011 року результати дослідження ефективності центрів обробки даних, зібраних із готових модульних блоків, які вже містять необхідне обладнаннята програми. Подібні модулі випускає ряд компаній, у тому числі Dell, SGI, Capgemini і Microsoft.

Будівництво модульних центрів коштує дешевше завдяки скороченню витрат на проектування. Щільність розміщення обладнання в модулях, як правило, вища, ніж у звичайних центрах, і вони займають менше місця, а продуктивність їх найчастіше виявляється вищою, оскільки недоліки конструкції виявляються ще на етапі проектування модулів. Крім того, зазвичай модульні дата-центри оптимізують щодо споживання енергії та ефективності охолодження, а також проектують із розрахунком на роботу в широких межах температур та вологості. Загальною проблемою модульних центрів є надійність, наголошується у звіті The Green Grid. Рівень дублювання, стійкості та гарантованого часу роботи різних компонентів модуля може сильно відрізнятись, і в результаті надійність всього модуля починає залежати від одного елемента. Багатьох турбує також забезпечення фізичної безпеки модулів.

У цей час у Росії працює не більше 10% мобільних центрів обробки даних (МЦОД). Очікувалася активізація цього напряму – вже понад сім компаній пропонують проекти створення контейнерних дата-центрів. Всі ці компанії наголошують на збільшення попиту на МЦОД: за 2011 рік кількість замовлень на проекти мобільних центрів перевищила кількість замовлень за 2009-2010 роки. Такі великі компаніїЯк «Вимпелком» або авіабудівний концерн «Іркут» вже оцінили переваги мобільних центрів обробки даних, що, безсумнівно, свідчить про зростаючу популярність МЦОД на російському ринку.

Замовники даних проектів розуміють, що, пакетуючи центр обробки даних у контейнер, вони отримають повністю готовий продукт «під ключ» із мінімальними фінансовими витратами та високою окупністю. МЦОД може стати як основним центром для зберігання та обробки даних, так і резервним.

2012: Дослідження APC by Schneider Electric

Згідно з дослідженнями фахівців APC by Schneider Electric, модульні контейнерні Центри Обробки Даних швидше у розгортанні, більш надійні в роботі та мають нижчу загальну вартість володіння, ніж ЦОД, побудовані самостійно з різних компонентів.

Фахівці APC by Schneider Electric зробили у 2012 році детальне дослідження проблеми живлення та охолодження модульних контейнеризованих центрів обробки даних та порівняльний аналіз із самостійно побудованими ЦОД.

Основні питання, що розглядаються

Модульні дата-центри дозволяють значно скоротити інвестиції у будівництво ЦОДів, насамперед, за рахунок відсутності необхідності будувати капітальну будівлю та можливості розширювати майданчик у міру необхідності. Економія на капітальних витратах може досягати 50%. У разі економічної рецесії попит такі рішення зростає.

Концепція модульного дата-центру (МЦОД) побудована на ідеї типового рішення- модуля із заданим набором систем електропостачання, охолодження та фізичної безпеки. Більшість вузлів подібного блоку вже заздалегідь зібрано і встановлено виробником, що дозволяє істотно скоротити роботи з інсталяції. готового рішенняна стороні замовника. Крім того, окремі модулі є незалежними в плані життєзабезпечення, що разом із короткими термінами розгортання дозволяє нарощувати потужність дата-центру в міру необхідності.

«Завдяки масштабованості, можливості поетапного введення в експлуатацію, а також незалежності кожного модуля по критичних системах життєзабезпечення, замовник має можливість поступового інвестування тільки в необхідний на даний момент обсяг ЦОДу. Це повною мірою відповідає нинішній економічній ситуації багатьох компаній, крім того, у такий спосіб вирішується проблема недозавантаженості та простоювання потужностей, що у результаті суттєво скорочує терміни окупності дата-центру», - розповідає Станіслав Терешкін, керівник напряму ЦОД групи "Астерос".

У чому вигода МЦОД?

Економічна доцільність використання модульних технологій охоплює чотири аспекти: скорочення капітальних інвестицій, зниження операційних витрат, відсутність простою обладнання завдяки нарощуванню потужностей у міру потреби, а також більше короткий строкповернення інвестицій за рахунок швидшого введення майданчика в експлуатацію.

Для запуску модульного ЦОДу потрібно 4-6 місяців з моменту початку проектування, що в 2-3 рази менше ніж для звичайного дата-центру. «Прискорене введення в експлуатацію модульних ЦОД також зумовлене тим, що модулі разом з елементами інженерної інфраструктури збираються безпосередньо на заводі біля вендора, де зосереджені всі інженерні та монтажні ресурси. Це значно швидше, ніж виконувати ці роботи на майданчику замовника», - пояснює Всеволод Воробйов, керівник напрямку ЦОД центру мережевих рішень «Інфосистеми Джет».

Важливим фактором у скороченні термінів є те, що модульні рішення не вимагають будівництва капітальної бетонної будівлі з потужними стінами та перекриттями. Як правило, модульні технології передбачають наявність «передвиготовленого» приміщення, яке можна помістити як усередині іншої будівлі, так і в чистому полі. «Запитуючи, яким має бути дата-центр, ми дуже часто стикаємося зі стереотипом бетонної будівлі з потужними стінами та перекриттями, - ділиться досвідом Олександр Переведенцев,заступник начальника відділу підтримки продажів інженерних систем компанії "Техносерв". - Однак насправді переваг такого ЦОДу перед модульним не має. Зазвичай прагнення монументальності гасне, коли замовник порівнює терміни та кошторис будівництва з витратами на зведення модульної конструкції».

«При грамотному плануванні термін проектування та введення в експлуатацію може бути скорочений у 2 рази і більше за рахунок фактичної відсутності будівництва капітальних споруд (включаючи проектування, експертизу проекту, отримання дозволів на будівництво та безпосередньо самого будівництва», – коментує експерт компанії «Енвіжн Груп») Арсеній Фомін.

У розрізі капітальних витрат певна економія може бути досягнута за рахунок використання готових типових продуктів, які обходяться дешевше за рішення, розроблені на замовлення. Однак ще більшу роль грає можливість вводити окремі блоки в експлуатацію поетапно, тим самим скорочуючи розмір початкових інвестицій. «Будівництво ЦОДу за принципом модульності дає можливість вкладати гроші поетапно, створюючи відмовостійкі кластери, що діють, що дозволяють одночасно вирішувати покладені на них бізнес-завдання (отримувати прибуток) і повертати вкладені інвестиції. Початкові інвестиції проекту становлять 20%-30%, решта розподілена за часом відповідно до етапів введення ЦОДу в експлуатацію», - пояснює Павло Дмитрієв, заступник директора департаменту інтелектуальних будівель компанії «Крок»

Загальна економія CAPEX при використанні модульних рішень складає до 30%, підрахували в дослідницькій компанії 451 Research. Опитані CNews системні інтегратори називають цифри від 15 до 50% економії на капітальних витратах залежно від конструктивних особливостейоб'єкт.

В області операційних витрат економія відбувається за рахунок уніфікації інженерних систем, відповідно, скорочуються витрати на обслуговуючий персонал, закупівлю запасних частин та ремонт. Крім того, з'являється можливість зменшити рахунок за електроенергію. За даними Schneider Electric, модульний підхід дозволяє знизити сукупну вартість володіння (Total Cost of Ownership, TCO) на $2–7 у перерахунку на 1 Вт потужності ЦОДу. «Економія електроенергії йде за рахунок того, що модульні ЦОДи зазвичай компактніші, ніж «класичні». Обсяг повітря, яке потрібно охолоджувати, в них менше, тому системи кондиціювання споживають менше електроенергії», - пояснює представник компанії «Утілекс» Валентин Фосс.

Втім, не всі гравці ринку погоджуються з тим, що економія на OPEX є значною: «Операційні витрати будуть приблизно однакові в порівнянні з немодульним дата-центром», - вважає Арсеній Фомін. Однак він застерігається, що «економія може бути досягнута за рахунок відсутності необхідності утримання та ремонту капітальної будівлі.»

Приклади проектів модульних ЦОД у 2015–2016 роках.

Замовник	Системний інтегратор	Рішення	Опис проекту
Група «Черкізове»	Інофсистеми Джет	Contain-RZ	Модульний ЦОД побудований з урахуванням вимог міжнародного стандарту TIA-942, рівень надійності комплексу інженерних систем відповідає TIER II, а коефіцієнт стійкості до відмови дорівнює 99,749%. Площа – близько 200 кв. м. У ЦОД розташовані 32 високонавантажені стійки, на яких розміщені ядро корпоративної мережіта серверні платформи для всіх основних бізнес-додатків (SAP, 1C, CSB, корпоративної пошти та ін.). МЦОД складається з трьох модулів, що відповідають за розмірами морського контейнера. Це дозволило уникнути додаткових витрат, пов'язаних із транспортуванням модулів від виробника до майданчика. Крім того, модульне рішення виключає такі ризики, як помилки при проектуванні та монтажі.
LinxDataCenter	Інсистемс	н/д	У 2016 р. було завершено розширення ЦОД LinxDataCenter на 265 стійкомісць. Реалізація даного проекту проходила в умовах працюючого дата-центру, в якому необхідно було побудувати три додаткові модулі. Характерною особливістюпроекту було проведення великого обсягу загальнобудівельних робіт(виймання ґрунту, заливка залізобетонних плит перекриттів, встановлення колон та балок металоконструкцій) за умови безперебійного функціонування існуючих модулів ЦОД та безперешкодного доступу до них клієнтів. Нові модулі також вводилися в експлуатацію в міру їх готовності. Відповідно і весь комплекс інженерних систем створювався та вводився в експлуатацію поетапно з проведенням всього комплексу проміжних випробувань та пусконалагоджувальних робіт.
Технопарк «Жигулівська долина»	Ланіт-Інтеграція	Smart Shelter/AST Modular	ЦОД нарахує шість машинних залів загальною площею 843 кв. м та вміщує 326 стійок потужністю від 7 до 20 кВт кожна. У чотирьох машинних залах другого поверху розгорнуто систему охолодження від компанії AST Modular, що включає 44 модулі охолодження зовнішнім повітрям Natural Free Cooling. Система безперебійного та гарантованого електропостачання побудована на дизель-динамічних джерелах безперебійного живлення Piller. Управління будівлею здійснюється за допомогою рішень, побудованих на обладнанні Schneider Electric. ІТ-обладнання зібрано у відмовостійкій конфігурації та розміщено в модульних приміщеннях Smart Shelter, що забезпечують надійний захист ЦТО від пожежі, вологи, вібрації та інших зовнішніх впливів.
Аерофлот	Техносерв	ІТ-Екіпаж	У машинному залі встановлено 78 серверних стояків електричною потужністю 10 кВт на кожну. Загальна площадвох машинних залів 175 кв. м, що забезпечує зручність транспортування та обслуговування обладнання. Серверний та інженерний блоки розташовуються вертикально – у два яруси. За цієї зміни основне інженерне устаткування перебуває у першому ярусі, а обчислювальна інфраструктура – другого. При стиковці серверних блоків утворюється єдине технологічне приміщення встановлення активного устаткування. Інженерні системи нового модульного ЦОД «Аерофлот» розраховані на цілодобову безперебійну роботу – заздалегідь встановлені, налагоджені та протестовані.
Красноярська ГЕС	Утілекс/Ланіт-Сибір	Nota	В рамках проекту на майданчику, винесеному на безпечну позначку за межами тіла греблі ГЕС, було змонтовано модульний ЦОД з внутрішніми габаритами 10,533,2 м. огасіння, пожежної та охоронної сигналізації, а також структурованою кабельною системою. Технічна складність реалізації проекту полягала у тому, що роботи виконувались під існуючою робочою лінією електропередач у 500 кВ. Будівництво самого об'єкта ЦОД було обмежено часовими рамками. При зведенні каркасної конструкції центру роботи вкладалися у максимально щільний та регламентований графік щодо відключення ЛЕП.