RUBICON engineering center

Автоматика высокоплотной стойки (30-100 кВт)

Аббревиатура: HDR
Синонимы: high-density ЦОД, высокоплотная стойка, high density rack, HDR
Автоматика стоек ЦОД с плотностью энерговыделения 30-120 кВт (при норме 5-15 кВт). Специализированное охлаждение: DLC, Rear-Door Heat Exchanger, immersion. Применяется для ИИ-кластеров NVIDIA, HPC, criptomining. Требует переработки инфраструктуры ЦОД.

High-density rack — стойка с плотностью энерговыделения выше стандартной. Стандартная плотность ЦОД:

  • Малая 1-5 кВт/стойка (устаревшие ЦОД)
  • Средняя 5-15 кВт/стойка (большинство современных)
  • Высокая 15-30 кВт/стойка (требует специального охлаждения)
  • Экстремальная 30-120 кВт/стойка (DLC обязательно)
  • Ультра-экстремальная >120 кВт (иммерсия, NVL72)

Причины роста плотности

Экономика

  • ЦОД площадью 1000 м² при 10 кВт/стойка = 1 МВт
  • Такой же ЦОД при 100 кВт/стойка = 10 МВт
  • Экономия на недвижимости в 10 раз
  • Критично для Москвы, Петербурга — где земля дорогая

Технологии

  • NVIDIA H100/H200/Blackwell — 10-14 кВт на 1U сервер
  • CPU AMD EPYC 128 cores — 400 Вт
  • Intel Xeon Max 56 cores — 350 Вт
  • Сервер высокой плотности = 10-20 кВт в 2U

Применение

  • ИИ (обучение LLM GPT-5, Claude, Gemini)
  • HPC (суперкомпьютеры)
  • Биоинформатика
  • Финансовое моделирование (HFT)

Технологии охлаждения high-density

15-30 кВт/стойка — InRow + Containment

  • Прецизионные кондиционеры в ряду стоек (InRow)
  • Герметизация горячих или холодных коридоров
  • Увеличенный подвод холодного воздуха снизу

30-50 кВт/стойка — Rear-Door Heat Exchanger (RDHx)

  • Задняя дверь стойки с теплообменником вода-воздух
  • Горячий воздух из стойки охлаждается прямо в двери
  • Температура выходит в коридор 25-30°C
  • Производители: Vertiv HPC, Schneider EcoAisle, STULZ CyberCool

50-120 кВт/стойка — Direct Liquid Cooling (DLC)

  • Жидкость подаётся непосредственно к CPU/GPU через холодные плиты (coldplates)
  • 70-85% тепла отводится жидкостью, 15-30% — воздухом
  • CDU (Coolant Distribution Unit) — 72-144 кВт
  • Температура подачи 25-35°C (W-G 25/75)

>120 кВт/стойка — Immersion

  • Полное погружение серверов в диэлектрик
  • SPIC (однофазная) или 2PIC (двухфазная)
  • Шасси серверов — специализированные (OCP ORv3)

Автоматика high-density

Контроль

  • Температура коридоров (горячий и холодный)
  • Температура подачи воздуха в каждую стойку (датчики спереди)
  • Температура выхода воздуха из каждой стойки (датчики сзади)
  • Температура CPU/GPU каждого сервера (через IPMI/Redfish)
  • Для DLC: температура, расход, давление теплоносителя в CDU
  • Утечки под каждой стойкой (датчики провода-зонда)
  • PDU: ток, напряжение, мощность каждой розетки

Регулирование

  • Приточные вентиляторы InRow — по температуре холодного коридора
  • Циркуляционные насосы CDU — по температуре на выходе CPU/GPU
  • Клапаны смешивания CDU — по заданной температуре подачи
  • При утечке — закрытие соленоидного клапана подачи жидкости

Защита

  • При t_CPU/GPU >85°C — alarm, снижение частоты
  • При t_CPU/GPU >95°C — отключение узла
  • При утечке >100 мл/мин — аварийное отключение стойки
  • Перепад давления в CDU >1 бар — alarm (засор фильтра)

Нормативы

  • ASHRAE Liquid Cooling Classes — W17/W27/W32/W40/W45/W+ (температуры подачи)
  • OCP ORv3 — спецификации стоек high-density
  • TIA-942-C — обновлённая классификация high-density ЦОД

Производители

CDU и RDHx

  • Vertiv — Liebert XDU, iCOM-S
  • Rittal — LCP (Liquid Cooling Package)
  • CoolIT Systems — для NVIDIA DGX
  • Schneider Electric — Uniflair, EcoAisle
  • STULZ — CyberCool

InRow

  • Vertiv Liebert CRV — 15-60 кВт
  • Schneider InRow RC/RD — 15-60 кВт
  • STULZ CyberRow — 15-70 кВт

Контроллеры

  • Vertiv iCOM-S — для их CDU/CRAC
  • Siemens Climatix POL687 — универсальный
  • Omnisense (ОВЕН) — отечественный аналог

РУБИКОН проектирует автоматику high-density ЦОД от 100 кВт до 20 МВт на зарубежных и отечественных компонентах.

Частые вопросы

  • С какой плотности нужно переходить от воздуха к DLC?
    Граница 30 кВт/стойка. До 20-25 кВт воздушное охлаждение + InRow + containment справляется. 25-40 кВт — Rear-Door Heat Exchanger. 40+ кВт — DLC обязательно. Для будущего (Blackwell NVL72 — 120 кВт/стойка) — только DLC или immersion. Проектируя новый ЦОД в 2026 — закладывайте возможность DLC в инфраструктуру (трубопроводы 50-80 мм, запас мощности на CDU).
  • Что дешевле: DLC или иммерсия для 60 кВт/стойка?
    На плотности 60 кВт DLC обычно дешевле. CDU + coldplates ≈ 15-25 млн руб на стойку 60 кВт. Иммерсионный модуль 60 кВт ≈ 20-30 млн руб. Иммерсия выгоднее от плотности >100 кВт или если проект изначально новый (без установленной серверной инфраструктуры). DLC — более стандартизовано, большинство современных серверов поддерживают DLC «из коробки» (Supermicro, Dell, HPE, Inspur).

Источники

  1. ASHRAE Liquid Cooling Guidelines — ASHRAE TC 9.9
  2. Open Compute Project ORv3 Specifications — OCP
  3. TIA-942-C — Telecommunications Infrastructure Standard for Data Centers — TIA
Автор: Sergey
Опубликовано: 28.10.2026
Обновлено: 28.10.2026
Автоматика high-density стойки 30-120 кВт — DLC, RDHx | РУБИКОН