Четыре ограничения каждой стойки
В стойке что-то одно заканчивается раньше остального. В ЦКА, забитой преобразователями высотой 1U, обычно заканчивается место. В стойке с серверами выпуска и кодерами — мощность. В стойке с ИБП и батарейными шкафами — допустимый вес. Планировать ёмкость — значит следить за всеми четырьмя и знать, какое ограничение определяющее для каждой стойки.
- Место: монтажная высота в юнитах.
- Мощность: что могут отдать вводы стойки с учётом резервирования.
- Вес: что выдержат каркас стойки и пол под ней.
- Охлаждение: сколько тепла помещение способно отвести. Каждый ватт, поданный в стойку, выходит из неё теплом.
Место: общее число свободных юнитов — не та цифра
Юнит (U) — это 1.75 дюйма, или 44.45 мм, монтажной высоты. Вещательные стойки почти всегда 19-дюймовые: передняя панель оборудования шириной 19 дюймов (482.6 мм), на направляющих по три отверстия на юнит. У стойки 42U монтажная высота 42 × 44.45 мм, около 1.87 м. Глубина различается гораздо сильнее, чем высота, поэтому проверяйте её: длинный сервер не войдёт в неглубокую звуковую стойку, сколько бы юнитов ни было свободно.
Обычно называют общее число свободных юнитов. Важен же наибольший непрерывный свободный блок, потому что устройству нужны соседние юниты. Пример стойки:
A07 (42U) занято 30U свободно 12U
свободные блоки: U41-42 (2) U33-35 (3) U17-20 (4) U9 (1) U1-2 (2)
наибольший непрерывный блок: 4U
сервер 2U входит фрейм 4U входит фрейм 5U не входит
Двенадцать свободных юнитов, а фрейму матричного коммутатора на 5U всё равно нужна другая стойка. Свободное место с годами дробится: устройство убрали, поставили заглушку, никто не уплотнил. Ведите обе цифры по каждой стойке, а планируя перемещение, смотрите, не откроет ли сдвиг двух-трёх устройств высотой 1U полезный блок.
Мощность: паспортная, измеренная и бюджет
У каждой стойки три значения мощности, и большинство неприятных сюрпризов возникает, когда их путают.
- Паспортная: номинал, указанный на устройстве или его блоке питания. Это потолок, а не прогноз. Реальное потребление обычно заметно ниже. У сервера с двумя резервированными блоками питания по 750 Вт паспортная мощность 750 Вт, а не 1500 Вт: второй блок нужен, чтобы подхватить нагрузку, а не чтобы добавить мощность.
- Измеренная: то, что сообщает PDU или само устройство. Она меняется с нагрузкой. Сервер выпуска, кодирующий несколько каналов, потребляет больше, чем тот же сервер в простое. Измеряйте в час пик, во время прямой трансляции, когда все каналы в эфире, а не тихим воскресным утром.
- Бюджет: сколько стойке разрешено потреблять; его задают её вводы и охлаждение в этой части помещения.
Планирование по сумме паспортных значений надёжно, но расточительно. Планирование по среднему измеренному потреблению эффективно, но однажды выбьет автомат. Распространённый компромисс — измеренный пик плюс запас, а для новых устройств, пока их не измерили, — паспортная мощность. Какое бы правило вы ни выбрали, запишите его, чтобы все проектировщики пользовались одним и тем же.
Вводы A/B: каждый ввод должен тянуть всю стойку
В стойках с оборудованием с двумя кабелями питания обычно стоят два PDU на разных вводах, A и B. В нормальном режиме нагрузка делится между ними примерно пополам. Смысл двух вводов в том, что при отказе одного другой берёт на себя всё. Поэтому правило такое: вся нагрузка стойки должна укладываться в возможности одного ввода.
Пример расчёта с условными цифрами. Каждый ввод — однофазная линия 16 А на 230 В:
| Шаг | Значение (пример) |
|---|---|
| Номинал ввода | 16 А × 230 В = 3680 ВА |
| Запас 80 % для длительной нагрузки | 2944 ВА |
| При коэффициенте мощности около 0.95 | около 2.8 кВт на ввод |
| Бюджет мощности стойки с резервированием A/B | 2.8 кВт, а не 5.6 кВт |
| Измерено сейчас: ввод A / ввод B | 1.25 кВт / 1.15 кВт = всего 2.4 кВт |
| При отказе ввода B ввод A несёт | 2.4 кВт, 86 % от 2.8 кВт |
Запас 80 % взят из североамериканских электротехнических норм для длительной нагрузки на стандартных автоматах; многие площадки в других странах применяют такой же запас как практику. Проверьте, какое правило действует для вашей установки. С вводами на 32 А тот же расчёт даёт около 5.6 кВт на стойку.
Две ловушки. Устройства с одним кабелем питания — старый фрейм или небольшой преобразователь — сидят только на одном вводе и отключаются вместе с ним; либо подключите их через автоматический переключатель ввода, либо принимайте этот риск осознанно. И стойка, где ввод A показывает 1.9 кВт, а ввод B 0.5 кВт, не сбалансирована. Обычно это значит, что оборудование с одним кабелем питания сосредоточено на A или что оба блока питания каких-то серверов включены в один и тот же PDU. В любом случае часть резервирования существует только на бумаге.
Вес и охлаждение
У каждой стойки есть статическая допустимая нагрузка, заявленная производителем. Она относится к оборудованию, правильно закреплённому на направляющих, и для стойки на роликах, а не на регулируемых опорах, часто указывается ниже. Тяжёлое ставят вниз: ИБП, батарейные блоки и крупные фреймы внизу держат центр тяжести низко.
Дальше — пол. У плитки фальшпола или перекрытия в старом здании свой предел, а полная стойка сосредотачивает вес на небольшой площади. Например, стойка 600 × 1000 мм с оборудованием весом 600 кг даёт на пол около 1000 кг на квадратный метр, не считая веса самой стойки. Стойка с батареями на фальшполу — вопрос к инженеру, отвечающему за конструкции здания.
Охлаждение замыкает список. Сколько мощности подано, столько тепла и выделится: 1 кВт нагрузки — это около 3412 BTU/ч, которые должны отвести прецизионные кондиционеры. Следите за температурой на входе, а не за температурой в помещении; широко применяемый рекомендуемый диапазон ASHRAE для воздуха на входе оборудования — от 18 до 27 °C. Стойка, у которой всё в порядке с мощностью, всё равно может перегреваться, потому что стоит в конце ряда, далеко от холодного воздуха.
Пример: куда поставить новый кодер
Приходит новый кодер высотой 2U: расчётная мощность 450 Вт, вес 18 кг. В ЦКА три стойки-кандидата. Все цифры условные; бюджет — 2.8 кВт на стойку, как выше, допустимая нагрузка — 800 кг.
| Стойка | Свободно U / наибольший блок | Мощность сейчас | Мощность после | Вес после | Итог |
|---|---|---|---|---|---|
| A06 | 6 / 2 | 2.10 кВт (75 %) | 2.55 кВт (91 %) | 538 кг | Входит, стойка становится жёлтой |
| A07 | 12 / 4 | 2.40 кВт (86 %) | 2.85 кВт (102 %) | 428 кг | Место есть, мощности нет |
| A08 | 18 / 10 | 1.20 кВт (43 %) | 1.65 кВт (59 %) | 318 кг | Входит, лучший баланс |
Больше всего свободного места, на первый взгляд, в A07, и это неправильный ответ: при отказе одного ввода стойка выйдет за бюджет. A06 подходит, но не оставляет запаса для следующего устройства. Выбор — A08, к тому же блок 4U в A07 остаётся свободным для фрейма, которому он нужен.
Ёмкость в RoomScene 3D
RoomScene 3D хранит эти показатели по каждой стойке и сводит их по помещению и по площадке: занятые и свободные юниты, наибольший свободный блок, паспортная мощность относительно бюджета мощности стойки и вес относительно её допустимой нагрузки.
- Измеренные мощность и температура считываются из Zabbix каждые две минуты: суммарная мощность PDU или сумма фаз в Вт или кВт, датчики на входе и окружающей среды в °C. Если в стойке нет PDU, её мощность — сумма собственных показаний её устройств.
- Вводы A/B показываются по каждому PDU, поэтому видно, потянет ли один ввод всю стойку.
- При 80 % бюджета стойка становится жёлтой, при 100 % — красной. Тепловые карты в 3D показывают занятость юнитов, мощность, вес или температуру на входе по ряду стоек.
- «Что куда поместится» делает расчёт из таблицы выше за вас: укажите высоту в U, мощность в Вт, вес в кг и количество и получите стойки, которые это примут, сначала самые сбалансированные. Оттуда же устройство можно добавить в черновик.
- Если открыт черновик, страница ёмкости показывает «сейчас» и «после черновика» рядом. Черновик с превышением бюджета помечается, но не блокируется; согласующий видит предупреждение.
Как эти предупреждения проходят через согласование, рассказано в статье планирование перемещения оборудования. Вид ёмкости соседствует со схемами размещения в стойках, а сравнение с DCIM объясняет, где проходят границы RoomScene 3D: он читает мощность PDU из Zabbix и не моделирует цепь питания до автомата. В пробной версии на 30 дней включены все функции; скачайте её и сверьте цифры с одной из своих стоек.