Вычислительный кластер

В течение всего срока своего существования ООО «МНПП ТЭКИНКОМ» разрабатывал интеграционные проекты с использованием кластерных технологий (см. Историю). Поэтому естественным явился новый проект по разработке вычислительного кластера. Проект начал выполняться по заказу УГТУ (УПИ) как комплекс оборудования для университетского центра параллельных вычислений, однако затем вырос до самостоятельного продукта, который наше предприятие готово предлагать потенциальным заказчикам.

Суть проекта, предполагаемые сферы применения.

Большое число вычислительных задач в самых различных областях деятельности человека (симуляционные вычисления в науке, инженерные расчеты, моделирование) требуют значительных вычислительных мощностей. Исторически эта задача решалась с помощью все более мощных вычислительных агрегатов, которые – в случае недостатка единичной мощности - объединялись в кластеры. Указанное решение было достаточно капиталоемким, и предполагало использование лишь крупными научными и инженерными центрами. Однако потребность в подобных вычислениях имеется у значительно более широкого круга научно - инженерных пользователей. Поэтому в течение последних десяти лет активно развивается другое направление – построение кластера на серверах стандартной архитектуры с использованием системного программного обеспечения с открытым кодом. При этом появление 64-разрядных Intel- и AMD- процессоров позволяет при относительно небольших капитальных и накладных (на поддержание кластерной структуры) расходах обеспечить достаточно значительные вычислительные мощности, что подтверждается регулярно обновляемыми списками отечественных (Тор50) и мировых суперкомпьютеров (Top500), в которых доля этих «экономных» вычислительных кластеров растет.

Содержание проведенных исследований, основные инженерные решения.

Предприятием «ТЭКИНКОМ» был выполнен ряд экспериментальных и теоретических исследований с целью анализа вариантов архитектуры вычислительного кластера (тип используемых процессоров, серверов стандартной архитектуры, кластерного интерконнекта, варианты настройки кластерного ПО) с целью определения оптимального по соотношению «Цена/производительность». Кроме того, была разработана методика тестирования программного обеспечения, планируемого к использованию на вычислительном кластере, с точки зрения эффективного распараллеливания алгоритмов вычислений, а следовательно выигрыша от использования кластера в сравнении с одиночным вычислителем. Важным направлением исследований была отработка методики сочетания кластерных вычислений с визуализацией результатов, что, в частности, важно для САПРовских приложений. Разумеется, в условиях быстро меняющихся типов процессоров, их цен и технических характеристик процессоров и серверов стандартной архитектуры, а также разнообразия индивидуальных потребностей потенциальных заказчиков невозможно заранее определить оптимальную архитектуру вычислительного кластера для любого заказчика. Однако разработанная методика позволяет формализовать эту процедуру и – что представляется особенно ценным - сделать ее прозрачной для заказчика для минимизации совместных усилий и наиболее эффективного использования средств заказчика.

В настоящее время «ТЭКИНКОМ» проводит ряд организационно-технических мероприятий для организации тестового комплекса вычислительного кластера для моделирования потребностей заказчика и выбора оптимальной для него структуры вычислительного кластера. История и общие подходы к организации работы над вычислительным кластером как самостоятельным проектом изложена в презентации "Единство исторического и логического (история и идеология взаимодействия с IT-клиентами)"; приципы, которыми мы руководствоались при проектированиии «экономичного» вычислительного кластера – в "Введение в Кластеры".