Автоматика высокоплотной стойки (30-100 кВт)
Аббревиатура: HDR
Синонимы: high-density ЦОД, высокоплотная стойка, high density rack, HDR
Автоматика стоек ЦОД с плотностью энерговыделения 30-120 кВт (при норме 5-15 кВт). Специализированное охлаждение: DLC, Rear-Door Heat Exchanger, immersion. Применяется для ИИ-кластеров NVIDIA, HPC, criptomining. Требует переработки инфраструктуры ЦОД.
High-density rack — стойка с плотностью энерговыделения выше стандартной. Стандартная плотность ЦОД:
- Малая 1-5 кВт/стойка (устаревшие ЦОД)
- Средняя 5-15 кВт/стойка (большинство современных)
- Высокая 15-30 кВт/стойка (требует специального охлаждения)
- Экстремальная 30-120 кВт/стойка (DLC обязательно)
- Ультра-экстремальная >120 кВт (иммерсия, NVL72)
Причины роста плотности
Экономика
- ЦОД площадью 1000 м² при 10 кВт/стойка = 1 МВт
- Такой же ЦОД при 100 кВт/стойка = 10 МВт
- Экономия на недвижимости в 10 раз
- Критично для Москвы, Петербурга — где земля дорогая
Технологии
- NVIDIA H100/H200/Blackwell — 10-14 кВт на 1U сервер
- CPU AMD EPYC 128 cores — 400 Вт
- Intel Xeon Max 56 cores — 350 Вт
- Сервер высокой плотности = 10-20 кВт в 2U
Применение
- ИИ (обучение LLM GPT-5, Claude, Gemini)
- HPC (суперкомпьютеры)
- Биоинформатика
- Финансовое моделирование (HFT)
Технологии охлаждения high-density
15-30 кВт/стойка — InRow + Containment
- Прецизионные кондиционеры в ряду стоек (InRow)
- Герметизация горячих или холодных коридоров
- Увеличенный подвод холодного воздуха снизу
30-50 кВт/стойка — Rear-Door Heat Exchanger (RDHx)
- Задняя дверь стойки с теплообменником вода-воздух
- Горячий воздух из стойки охлаждается прямо в двери
- Температура выходит в коридор 25-30°C
- Производители: Vertiv HPC, Schneider EcoAisle, STULZ CyberCool
50-120 кВт/стойка — Direct Liquid Cooling (DLC)
- Жидкость подаётся непосредственно к CPU/GPU через холодные плиты (coldplates)
- 70-85% тепла отводится жидкостью, 15-30% — воздухом
- CDU (Coolant Distribution Unit) — 72-144 кВт
- Температура подачи 25-35°C (W-G 25/75)
>120 кВт/стойка — Immersion
- Полное погружение серверов в диэлектрик
- SPIC (однофазная) или 2PIC (двухфазная)
- Шасси серверов — специализированные (OCP ORv3)
Автоматика high-density
Контроль
- Температура коридоров (горячий и холодный)
- Температура подачи воздуха в каждую стойку (датчики спереди)
- Температура выхода воздуха из каждой стойки (датчики сзади)
- Температура CPU/GPU каждого сервера (через IPMI/Redfish)
- Для DLC: температура, расход, давление теплоносителя в CDU
- Утечки под каждой стойкой (датчики провода-зонда)
- PDU: ток, напряжение, мощность каждой розетки
Регулирование
- Приточные вентиляторы InRow — по температуре холодного коридора
- Циркуляционные насосы CDU — по температуре на выходе CPU/GPU
- Клапаны смешивания CDU — по заданной температуре подачи
- При утечке — закрытие соленоидного клапана подачи жидкости
Защита
- При t_CPU/GPU >85°C — alarm, снижение частоты
- При t_CPU/GPU >95°C — отключение узла
- При утечке >100 мл/мин — аварийное отключение стойки
- Перепад давления в CDU >1 бар — alarm (засор фильтра)
Нормативы
- ASHRAE Liquid Cooling Classes — W17/W27/W32/W40/W45/W+ (температуры подачи)
- OCP ORv3 — спецификации стоек high-density
- TIA-942-C — обновлённая классификация high-density ЦОД
Производители
CDU и RDHx
- Vertiv — Liebert XDU, iCOM-S
- Rittal — LCP (Liquid Cooling Package)
- CoolIT Systems — для NVIDIA DGX
- Schneider Electric — Uniflair, EcoAisle
- STULZ — CyberCool
InRow
- Vertiv Liebert CRV — 15-60 кВт
- Schneider InRow RC/RD — 15-60 кВт
- STULZ CyberRow — 15-70 кВт
Контроллеры
- Vertiv iCOM-S — для их CDU/CRAC
- Siemens Climatix POL687 — универсальный
- Omnisense (ОВЕН) — отечественный аналог
РУБИКОН проектирует автоматику high-density ЦОД от 100 кВт до 20 МВт на зарубежных и отечественных компонентах.
Частые вопросы
С какой плотности нужно переходить от воздуха к DLC?
Граница 30 кВт/стойка. До 20-25 кВт воздушное охлаждение + InRow + containment справляется. 25-40 кВт — Rear-Door Heat Exchanger. 40+ кВт — DLC обязательно. Для будущего (Blackwell NVL72 — 120 кВт/стойка) — только DLC или immersion. Проектируя новый ЦОД в 2026 — закладывайте возможность DLC в инфраструктуру (трубопроводы 50-80 мм, запас мощности на CDU).Что дешевле: DLC или иммерсия для 60 кВт/стойка?
На плотности 60 кВт DLC обычно дешевле. CDU + coldplates ≈ 15-25 млн руб на стойку 60 кВт. Иммерсионный модуль 60 кВт ≈ 20-30 млн руб. Иммерсия выгоднее от плотности >100 кВт или если проект изначально новый (без установленной серверной инфраструктуры). DLC — более стандартизовано, большинство современных серверов поддерживают DLC «из коробки» (Supermicro, Dell, HPE, Inspur).
Источники
- ASHRAE Liquid Cooling Guidelines — ASHRAE TC 9.9
- Open Compute Project ORv3 Specifications — OCP
- TIA-942-C — Telecommunications Infrastructure Standard for Data Centers — TIA
Автор: Sergey
Опубликовано: 28.10.2026
Обновлено: 28.10.2026