Жидкостное охлаждение в последних российских HPC-разработках

За последние несколько месяцев оба основных игрока отечественного суперкомпьютерного рынка - "Т-Платформы" и "РСК Технологии" - анонсировали новые системы, и в обоих случаях речь идет о решениях на основе жидкостного охлаждения, являющегося сейчас явным трендом при создании высокопроизводительных вычислителей.

Прототип "Т-Платформ"

Свой последний анонс "Т-Платформы" сделали в середине мая. По ряду вполне объективных причин компания сейчас крайне скупо делится информацией о своей работе, порой, пожалуй, перегибая в этом деле палку. На запрос редакции относительно подробностей габаритных и мощностных характеристик новой системы пришел ответ следующего содержания: "На данный момент мы не готовы сообщать дополнительную информацию по этому решению, так как это прототип, а не финальная система; дополнительные данные по нему являются нашим конкурентными преимуществами, которые мы пока что не хотим анонсировать". Что ж, придется ограничиться информацией из открытых источников.

Как сообщает компания в пресс-релизе, разработка и производство решения осуществлялись при финансовой поддержке Минобрнауки РФ в рамках государственного контракта "Разработка программно-аппаратного многопроцессорного вычислительного комплекса (МВК) для построения высокопроизводительных вычислительных систем мультипетафлопсного диапазона".

Частично машина охлаждается традиционным воздушным способом, однако ключевые компоненты (вычислительные узлы и система коммутации) охлаждаются более теплоемкой водой. В результате, как заверяют в "Т-Платформах", специализированная вычислительная стойка позволяет отвести 150-200 кВт тепла, что в 5-6 раз больше, чем в типовых стоечных системах с воздушным обдувом.

Далее в прес-релизе следует не до конца понятный абзац, поэтому цитируем его без каких бы то ни было изменений: "Пиковая производительность в 400 Тфлопс обеспечивается за счет конфигурации на базе однопроцессорных системных плат с ускорителем. Двухпроцессорные системные платы позволяют достичь показателя более 100 Тфлопс. В одной стойке устанавливается до 512 вычислительных узлов, объединенных в модули с общим радиатором. Каждый радиатор обеспечивает охлаждение от 2 до 4 плат электронных компонентов. Радиаторы подключены к общей системе циркуляции горячей воды в стойке."

Утверждается, что МВК не имеет в своей номенклатуре такого традиционного понятия, как серверное шасси. Компоненты системы устанавливаются непосредственно в стойку. Объединительные платы связывают вычислительные узлы, коммутаторы всех уровней и модули управления в систему без использования кабельных соединений. По уверению производителя, это повышает надежность межузловых коммуникаций, обеспечивает "горячую" замену компонентов и дает возможность ускорить сервисное обслуживание комплекса.

В компании заявляют, что система предназначена для создания суперкомпьютеров петафлопcного и мультипетафлопсного диапазонов производительности. В рамках существующего интерконнекта максимальный размер вычислительного кластера на базе МВК может достигать 128 вычислительных стоек.

Несмотря на то что другими подробностями проекта "Т-Платформы" не делятся, с большой долей вероятности можно предположить, что для повышения производительности системы при умеренном росте ее энергопотребления компания традиционно задействовала в прототипе графические ускорители. Поэтому в будущем будет весьма любопытно узнать, какие конкретно габаритно-мощностные изменения возникают в кластере при использовании не только воды для охлаждения, но и новейших ускорителей для "разгона". А заодно и сопоставить эти данные с показателями условно аналогичных систем компании РСК, анонсированных несколько месяцев назад и уже во всех подробностях продемонстрированных журналистам.

Системы РСК

В рассматриваемой плоскости принципиальное отличие новых разработок "РСК Технологий" от того, что предлагают "Т-Платформы", в том, что РСК по неким принципиально-стратегическим соображениям не пошла по пути использования графических ускорителей, а дождалась выхода на рынок сопроцессоров Intel Xeon Phi. Последние хоть несколько и уступают, по наблюдениям экспертов, ускорителям в приросте производительности, но зато полностью совместимы со стандартной архитектурой x86, а значит, дружественны и стандартному ПО, что крайне важно.

На данный момент РСК успела отметиться двумя инсталляциями на Xeon Phi с жидкостным охлаждением - в Межведомственном суперкомпьютерном центре Российской академии наук (МСЦ РАН) и в Суперкомпьютерном центре Южно-Уральского государственного университета (ЮУрГУ) в Челябинске. Первая из них более масштабная и энергоэффективная, однако вторая для нас более показательна. Дело в том, что в ЮУрГУ создание кластера происходило в два этапа - сначала была создана система без сопроцессоров, а потом она была расширена уже с их использованием.

Как пояснил директор по развитию корпоративных проектов Intel в России и СНГ Николай Местер, до модернизации вычислитель в университете занимал пять серверных шкафов (80х80 см в поперечнике и чуть больше 1 м по высоте) - по 96 узлов в каждом. Если бы система охлаждалась не водой, а воздухом, то, во-первых, пришлось бы использовать более габаритные шкафы (80х120 см), а во-вторых, в них можно было бы разместить только по 20 узлов - почти в пять раз меньше.

В конце прошлого года в рамках проекта по модернизации узлы в двух из пяти шкафов были дополнены сопроцессорами Intel Xeon Phi. Каждый из них физически заполнил отдельный слот, поэтому 192 гибридных узла стали занимать уже не два шкафа, а четыре. Однако если раньше у одного гомогенного узла производительность составляла порядка 189 Гфлопс, то в гетерогенном исполнении он получил дополнительный прирост мощности порядка 1 Тфлопса - "разогнался" более чем в 6 раз. Не трудно заметить, что при грубом округлении использование Xeon Phi в данном случае позволяет разместить на одной и той же площади примерно в три раза более производительную систему.

Возвращаясь к теме сравнительного анализа жидкостного и воздушного охлаждения, г-н Местер отмечает, что площадь машинного зала в ЮУрГУ позволяет разместить 10 серверных шкафов - в сумме 960 слотов. Если бы мы захотели вместо воды охладить их воздухом, то, как уверяет г-н Местер, нам бы пришлось снести одну из стен, установить очень мощные вентиляторы и приковать шкафы к полу цепями, потому что при необходимой скорости потока воздуха их бы просто срывало с места. Решение же РСК спроектировано таким образом, что внутри одной стойки единовременно циркулирует всего несколько литров воды; остальная жидкость при этом находится снаружи помещения - система охлаждения перестройки зала не требует.