ПРИНЦИПЫ ПОСТРОЕНИЯ УЧЕБНО-НАУЧНОГО КОМПЛЕКСА
ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ СПбГУ
В.Ю. Сепман, В.И. Золотарев, Ю.П. Галюк
Санкт-Петербургский государственный университет
Учебно-научный комплекс высокопроизводительных вычислений
Санкт-Петербургского государственного университета (СПбГУ), соз-
данный по проекту B0008 Федеральной целевой программы «Интегра-
ция», представляет собой многоуровневую систему компьютерных
кластеров, распределенных по территории Петродворцового кампуса.
В состав комплекса также входят кластеры, установленные в Петер-
бургском институте ядерной физики им. Б.П. Константинова РАН
(ПИЯФ РАН) в г. Гатчине и Междисциплинарном центре СПбГУ на
Васильевском острове СПб. В качестве нижнего уровня системы ис-
пользуются учебные (малые) кластеры, установленные на естествен-
ных факультетах – физическом, прикладной математике – процессов
управления, математико-механическом и химическом. Все учебные
кластеры соединяются оптоволоконной сетью с основным вычисли-
тельным ядром системы и представляют собой достаточно мощные
вычислители, ресурсы которых могут использоваться автономно, как
отдельные восьмипроцессорные кластеры, и все вместе, образуя еди-
ный 32-х процессорный кластер.
Учебные кластеры имеют в своем составе 8 компьютеров Celeron
400, объединенных коммутаторами 3Com SuperStack 3300. Эти класте-
ры построены по типу Cluser of Workstation (COW). Производитель-
ность каждого учебного кластера на тесте Linpack на матрице
6000*6000 – 734 Mflops.
Программное обеспечение кластеров направлено, прежде всего, на
создание комфортной среды даже для непрофессионального пользова-
169
теля, впервые занимающегося параллельным программированием. Вот
основные принципы, реализуемые при построении учебных кластеров:
• Одинаковость операционных систем. На всех машинах кластеров
установлена операционная система Linux RedHat 6.2/7.2.
• Наличие графического интерфейса с пользователем. Графическая
оболочка KDE по внешнему виду и интерфейсу очень сильно на-
поминает интерфейс WINDOWS95.
• Единая система аутентификации. Обеспечивается использованием
системы NIS.
• Отказ от принципа закрепленности определенного компьютера за
пользователем. Обеспечивается наличием выделенного файл-
сервера, раздающего через систему NFS рабочие каталоги пользо-
вателя на все компьютеры кластера.
• Однородность программного обеспечения. Все прикладные паке-
ты (Matlab, Mathematica) и трансляторы (Lahey/Fujitsu Fortran 95)
приобретаются в сетевых вариантах и доступны к использованию
на всех машинах всех кластеров.
• Максимальная WINDOWS-совместимость программного обеспе-
чения. Практически все компиляторы (C, Fortran), прикладные па-
кеты (Matlab, Mathematica), библиотека параллельных расчетов
MPICH-1.2.1, библиотека научных программ IMSL имеют свой
WINDOWS-аналог. Этот факт позволяет полностью отлаживать
свою программу на компьютере в системе WINDOWS, а затем с
минимальной доработкой, а часто и без нее, после перетрансляции
запустить параллельную версию задачи на машинах кластера.
• Максимальная скорость обменов по сети. Обеспечивается как ап-
паратной реализацией (100 Mbps коммутируемый Ethernet), так и
применением наиболее эффективного протокола связи – RSH, с
разрешением беспарольного входа на все машины кластеров (это
необходимо для реализации многопроцессорной работы в наибо-
лее популярном пакете распараллеливания – MPICH).
• Безопасность. Обеспечивается отсутствием физического контакта
с сетью Интернет. Вход из Интернета возможен только через спе-
циальный компьютер-шлюз и только по шифрованному протоколу
SSH. Доступ из кластеров в Интернет запрещен.
Следующий уровень системы – основное вычислительное ядро –
состоит из кластера повышенной мощности, работающего в режиме
170
круглосуточного счета. Кластер состоит из 8 двухпроцессорных рабо-
чих станций Pentium III 933 с памятью 1 GB. Программное обеспече-
ние кластера отвечает следующим принципам:
• Полная переносимость исполняемых файлов, исключающая необ-
ходимость перетрансляции программ.
• Отсутствие системы очередей, при этом ответственность по рас-
пределению задач между компьютерами кластера ложится на про-
граммиста.
• Наличие эффективных средств отладки программ, как последова-
тельных, так параллельных.
Наиболее высокопроизводительный ресурс – SCI-кластер, состоя-
щий из 20 двухпроцессорных серверов Pentium III 933 с памятью 1 GB
и дисковой подсистемой 40 GB. Производительность его на тесте
Linpaсk – 17.1 Gflops (матрица 43000*43000). Для управления класте-
ром используется сервер Celeron 500. Для поддержки пользователей в
кластер включен двухпроцессорный сервер Pentium II 450 с памятью
256 MB и 20 GB HDD. Управляющая сеть кластера создана на базе
коммутатора 10/100 Cisco Catalyst WS-C2924-XL-EN. При построении
кластера высокопроизводительных вычислений были заложены сле-
дующие принципы:
• Прямой доступ к машинам кластера запрещается.
• Для запуска задач используется система очередей PBS.
• Правом постановки задач в очередь пользуется ограниченный круг
пользователей, прописанный в специальном списке (ACL-list).
• Задачи, решаемые на кластере высокопроизводительных вычисле-
ний, должны быть перетранслированы с подключением специаль-
ных библиотек, поддерживающих сеть SCI.
В настоящее время расширяется число учебных кластеров, под-
ключенных к комплексу, установленных в сети университета. Пять
кластеров построены сотрудниками факультета прикладной математи-
ки – процессов управления в новом здании в Петергофе. Все кратеры
соединяются 100 Mbps каналами коммутатором Cisco Catalyst WS-
C3548, который подключен к сети комплекса скоростной 1 Gbps опто-
волоконной линией.
Вычислительные мощности комплекса используются для выпол-
нения расчетов по крупным научно-исследовательским проектам. Сре-
171
ди этих проектов – работы по исследованию свойств материалов с ис-
пользованием программ GAMESS и CRYSTAL, расчеты жидкокри-
сталлических структур, исследования неравновесных и нестационар-
ных процессов в газах и многофазных средах, расчеты по физике вы-
соких энергий (проект ALICE). В число организаций, проводящих ис-
следования на высокопроизводительном кластере, входят: Санкт-
Петербургский институт информатики и автоматизации РАН, Петер-
бургский институт ядерной физики им. Б.П. Константинова РАН, Ин-
ститут высокомолекулярных соединений РАН, Государственное уни-
тарное предприятие «Государственный оптический институт им. С.И.
Вавилова» и Институт физиологии им. И.П. Павлова РАН, Институт
проблем машиноведения РАН.
Достарыңызбен бөлісу: |