Вычислительный кластер ВятГУ. Система прецизионного кондиционирования ЦОД

Прецизионный кондиционер (от английского precision – «точность») – это климатическое оборудование для сверхточного поддержания температуры и влажности в помещении. В отличие от бытовых систем кондиционирования, он рассчитан не на комфорт человека, а на защиту чувствительного оборудования от перегрева и скачков параметров среды. 

Заказчик и объект

Заказчиком проекта стало крупнейшее высшее учебное заведение Кировской области – Федеральное государственное бюджетное образовательное учреждение высшего образования «Вятский государственный университет» (ВятГУ). 

Вычислительный кластер ВятГУ – это высокопроизводительная вычислительная система, включающая 231 сервер, 462 процессора, 1848 ядер, с пиковой производительностью 17,22 TFLOPS. Построенный в 2007 году в рамках Национального проекта «Образование», он изначально использовался для задач в области био- и нанотехнологий, но очень быстро его вычислительные мощности оказались востребованы и в других направлениях – от инженерных расчётов до обработки больших данных. Сегодня кластер также интегрирован в учебный процесс кафедры ЭВМ в составе Института математики и информационных систем.

Сотрудничество ВятГУ с ООО ТК «АСПЕКТ-СЕТИ» началось в 2012 году. По итогам конкурентного отбора компания приняла на себя обеспечение бесперебойной работы промышленных систем кондиционирования Центра обработки данных. Сервисные инженеры регулярно выполняли техническое обслуживание, ремонтировали оборудование, максимально продлевая срок его службы. 

Но даже самое надёжное оборудование не вечно. Со временем участились отказы оборудования, запчасти стало находить всё сложнее. После ухода иностранных вендоров с российского рынка и вовсе стало невозможно получить любую сервисную поддержку и оригинальные комплектующие.

К 2024 году стало очевидно: пора менять систему прецизионного кондиционирования целиком.

Детали установки: демонтаж, проёмы, 400 килограммов и поэтапность

На первый взгляд, задача звучит просто: заменить два выработавших ресурс кондиционера. Но трудность в том, что система кондиционирования не может быть остановлена ни на час, потому что это означало бы остановку учебного процесса и  исследований, а также нарушение работы всех цифровых сервисов университета. Поэтому замена оборудования потребовала тщательно спланированной технологии производства работ.

Каждый прецизионный кондиционер весит около 400 кг, поэтому его устанавливали не на фальшпол, а на специальную раму. Для установки специальных рам и работы грузоподъёмной техники часть фальшпола временно демонтировали. Кроме того, чтобы просто занести новые габаритные модули внутрь, было предусмотрено расширить дверной проём и установить новую противопожарную дверь. 

Всё это – в действующем ЦОД, где оборудование необходимо обеспыливать, а также поддерживать строгий температурный режим. Поэтому зона производства работ была тщательно ограждена, а для поддержания работы климатического оборудования возведены специальные временные технологические конструкции, обеспечивавшие правильную циркуляцию воздуха.

Модернизация проходила в два этапа. На первом этапе вывели из эксплуатации один кондиционер, на его место установили два новых модуля. Температуру в ЦОД в это время поддерживал оставшийся кондиционер. На втором этапе повторили процедуру: прежний кондиционер демонтировали, установили третий новый модуль.

Эксплуатация: автоматизация и диспетчеризация

В ходе модернизации была реализована схема из трёх модулей: два – в работе, один – в горячем резерве. Такое решение обеспечивает оптимальную работу при переменной тепловой нагрузке и даёт запас надёжности. 

Важно, чтобы эта система работала согласованно, как единый организм. А значит, нужна правильно настроенная автоматика. Иногда кажется, что раз внутри контроллер, то нужно его включить – и готово. Но на самом деле, процесс запуска и настройки требует грамотного подхода, времени и опыта. Необходимо было проверить работу системы во всех возможных режимах, чтобы минимизировать риск непредвиденных ситуаций в процессе эксплуатации.

Параллельно с заменой модулей кондиционеров инженеры АСПЕКТ-СЕТИ внедрили на объекте современную систему диспетчеризации. Её задачи: отслеживать состояние инженерных систем, контролировать отклонения микроклимата, фиксировать потребление энергоресурсов, автоматически оповещать о неисправностях.

В основе системы – интеграционный шкаф CorBuild. Он собирает информацию от датчиков и оборудования, обрабатывает и архивирует данные, предоставляет удобный веб-интерфейс, а в случае аварии отправляет SMS-уведомление ответственным сотрудникам. 

К шкафу подключено множество датчиков: контроля протечек, температуры, влажности, шума, загазованности, движения, состояния дверей. Установлены счётчики электроэнергии и водосчётчик на входе в увлажнитель. Доступ к системе обеспечен как локально внутри ЦОД, так и с рабочих мест ответственных сотрудников.

Всё оборудование и программное обеспечение – отечественное, что полностью соответствует требованиям импортозамещения.

Тихая победа

Если система кондиционирования работает правильно, её, как правило, никто не замечает. Оборудование Центра обработки данных работает в штатном режиме, цифровые сервисы выполняются, вычисления «крутятся». Но за этим внешним спокойствием стоит большая согласованная работа.

В результате модернизации ВятГУ приобрёл:

• надёжную систему прецизионного кондиционирования с контролем наработки и резервированием;
• поддержание температуры и влажности на уровне, обеспечивающем бесперебойную работу оборудования;
• единую систему диспетчеризации, объединившую контроль систем кондиционирования, электроснабжения, водоснабжения, микроклимата и безопасности в одном интерфейсе;
• гарантированную техническую поддержку всего оборудования и программного обеспечения.

Комментарий Заказчика

ООО ТК «АСПЕКТ-СЕТИ» в качестве подрядчика приятно удивило ВятГУ системным подходом к решению задач. Наличие у компании опыта построения и обслуживания инженерных систем дата-центров дало заказчику целый ряд преимуществ.

• Прежде всего, это решение задачи «под ключ»: изготовление и установка противопожарной двери, поставка фирменных плит и коррекция фальшпола, обеспыливание и грунтование несущего пола, отделка откосов – всё это компания организовала самостоятельно.

• Отдельно следует отметить понимание особенностей объекта. Проведение работ без остановки дата-центра – важное условие, которое непросто реализовать.

• Подрядчик внедрил лучшие решения отрасли: систему современную, поддерживаемую производителями оборудования и масштабируемую, что особенно ценно в условиях санкций. Кроме того, была выполнена интеграция с уже имеющимся у университета оборудованием: от установки счётчиков до внедрения ИК-управления кондиционерами в помещении источника бесперебойного питания путем применения обучаемых модулей с выносным инфракрасным передатчиком.

• Ключевой аспект, появившийся в результате внедрения системы диспетчеризации, – превентивное реагирование на нештатное функционирование контролируемых инженерных систем. При поступлении сообщений об ошибках в работе кондиционеров группа технического обслуживания подрядчика оперативно выезжает на объект, обеспечивая максимально быстрое устранение неполадок. 

ВятГУ желает компании дальнейших успехов и надеется на продолжение сотрудничества.

Дмитрий Владимирович Седов, проректор по информатизации и цифровому развитию ВятГУ