Командные файлы LoadLeveler для Blue Gene/P

Очередью заданий на системах IBM Blue Gene/P и Regatta, установленных на факультете ВМК МГУ, управляет планировщик IBM Tivoli LoadLeveler. Чтобы поставить задание в очередь, необходимо подготовить специальный командный файл, в котором будет указан путь к исполняемому файлу и запрашиваемые программой ресурсы. Вопросы запуска заданий и управления очередью рассмотрены в отдельных секциях. Необходимо подчеркнуть, что на этом сайте мы не рассматриваем многошаговые задания и зависимости между шагами; интересующийся пользователь может найти описание указанных тем в официальной документации. В данном разделе описывается формат командного файла для запуска заданий на системе Blue Gene/P:

Пример простейшего командного файла

Имя командного файла является любым допустимым в данной операционной системе, но традиционно имеет расширение jcf («jcf» — сокращение от «job command file» — командный файл задачи). Рассмотрим пример простейшего командного файла bgp_run.jcf:

# @ job_type = bluegene
# @ class = large
# @ output = $(jobid).out
# @ error = $(jobid).err
# @ wall_clock_limit = 00:05:00
# @ bg_size = 128
# @ queue
/bgsys/drivers/ppcfloor/bin/mpirun -exe /gpfs/data/pozdneev/test/a.out -env OMP_NUM_THREADS=2 -mode DUAL

Строки, начинающиеся с символов # @, задают параметры планировщику. Команда

# @ job_type = bluegene

является обязательной — она информирует LoadLeveler о том, что задача предназначена для системы Blue Gene. Следующая строка

# @ class = large

определяет класс запускаемой задачи. В общем случае в системе может быть предопределено несколько классов задач, отличающихся приоритетом и требуемыми ресурсами. Строки

# @ output = $(jobid).out
# @ error = $(jobid).err

указывают планировщику, какие имена присвоить файлам стандартного вывода и потока сообщений об ошибках. Переменная $(jobid) будет автоматически заменена LoadLeveler'ом на уникальный числовой идентификатор задания. Файлы будут созданы в текущей директории. Лимит счетного времени в формате чч:мм:сс пользователь задает командой

# @ wall_clock_limit = 00:05:00

Время начинает отсчитываться с момента принятия задачи на счет, но не с момента постановки ее в очередь. Если программа превышает указанный пользователем лимит времени, она принудительно снимается системой со счета.

Число вычислительных узлов, которые будут выделены для задачи, указывается командой

# @ bg_size = 128

Доступны следующие значения: 128, 256, 512, 1024 и 2048. После подключения дополнительных узлов ввода-вывода, станет возможно использовать разделы, включающие 64 вычислительных узла. Строка

# @ queue

также является обязательной и отмечает конец списка операторов. Исполняемый файл, режим запуска, число OpenMP-нитей и путь к программе mpirun указываются в последней строчке командного файла:

/bgsys/drivers/ppcfloor/bin/mpirun -exe /gpfs/data/pozdneev/test/a.out -env OMP_NUM_THREADS=2 -mode DUAL

Обратите внимание, что для OpenMP-программ, которые запускаются в VN- или DUAL-режимах, необходимо явным образом указывать число нитей (-env OMP_NUM_THREADS=1 и -env OMP_NUM_THREADS=2 соответственно), в противном случае система попытается создать четыре нити, и программа будет аварийно завершена.

Синтаксис командного файла

Задание LoadLeveler'а в общем случае состоит из одного или нескольких шагов (job steps), которые определяются в одном командном файле. Кроме параметров, указывающих запрашиваемые ресурсы, в командном файле можно задать имя для задания и его конкретных шагов.

Общие правила составления командного файла

Строки с операторами (keyword statement) начинаются с символов #@, причем между этими символами допустимо любое число пробелов, т.е. каждая из следующих строк будет проинтерпретирована как строка с оператором:
```
#@      job_type = bluegene
# @     bg_connection = PREFER_TORUS
  #   @ bg_size = 128
```
Комментарии начинаются с символа #. Таким образом, каждая строка, первым печатным символом которой является #, но не представляющая собой строку с операторами, будет считаться комментарием:
```
#
# Single pound sign (#) is normally used only in the beginning
# of a jcf and after keyword statements
#
### Let's comment out the following line for a while
##@ environment = COPY_ALL
#
### Triple pound sign (###) is typically used between keyword 
### statements to improve readability
#
```
Компоненты операторных строк отделяются друг от друга пробелами. Пробелы также можно использовать, чтобы повысить удобочитаемость кода, но это необязательно, если уже использованы другие разделители:
```
# @ bg_connection=PREFER_TORUS
# @ environment = COPY_ALL ; MPIRUN_MODE=DUAL;MPIRUN_LABEL =1; MPIRUN_VERBOSE= 2
```
Обратная наклонная черта (backslash, \) используется для продолжения оператора не следующую строку, которая при этом не должна начинаться с символов #@:
```
# @ environment = \
        COPY_ALL; \
        MPIRUN_MODE = DUAL; \
        MPIRUN_LABEL = 1; \
        MPIRUN_VERBOSE = 2;
```

Ключевые слова являются регистронезависимыми:

#@ JOB_TYPE = bluegene
#@ ErRoR = $(jobid).err
#@ Bg_Connection = PREFER_TORUS
#@ BG_size = 128

Замечание о признаке конца строки

Обратите внимание, что командный файл должен подчиняться соглашениям UNIX о формате текстовых файлов. Т.е., если вы подготовили файл с использованием Windows-редактора, и признаком окончания строки в нем служит пара символов OD OA, то вам будет необходимо воспользоваться утилитой dos2unix, чтобы преобразовать файл к формату UNIX, например,

$> dos2unix run.jcf

В противном случае вы будете получать сообщения о неправильных параметрах:

<Oct 15 19:21:36.296950> FE_MPI (ERROR): Incorrect value on the '-mode' command line option: 'DUAL
'

Try /bgsys/drivers/ppcfloor/bin/mpirun -help for more details

Ключевые слова командного файла

Параметры задания специфицируются с использованием ключевых слов. Если после ключевого слова не указано никакого значения, ключевое слово игнорируется.

Ключевое слово	Описание
`bg_connection = TORUS \| MESH \| PREFER_TORUS`	Тип запрашиваемой топологии: `TORUS` — трехмерный тор `MESH` — трехмерная сетка (по умолчанию) `PREFER_TORUS` — если возможно, будет использован тор, в противном случает — сетка Если запрашиваемая топология недоступна для специфицированного числа вычислительных узлов или указанного раздела, то задание не может быть принято к исполнению и будет переведено в состояние `Idle`. Диагностическое сообщение, выдаваемое командой `llq -l <jobid>` будет содержать строку примерно следующего вида: bg_connection=TORUS not supported for small partitions.
`bg_partition`	Запустить задачу на одном из предопределенных разделов (см. тж. команду llstatus); это ключевое слово несовместимо с ключевыми словами `bg_size`, `bg_connection` и некоторыми другими, которые здесь не описаны.
`bg_size`	Число запрашиваемых вычислительных узлов. Может принимать следующие значения: 128, 256, 512, 1024, 2048. После ввода в строй дополнительных узлов ввода-вывода станет доступно значение 64.
`class`	Класс задачи (см. тж. команду llclass)
`environment`	Описывает переменные окружения задачи, их список разделяется точками с запятыми. Возможны следующие значения: `COPY_ALL` — скопировать все переменные из текущего окружения `$var` — скопировать переменную `var` из текущего окружения `!var` — при использовании `COPY_ALL` не копировать переменную `var` из текущего окружения `var=value` — задать значение `value` для переменной `var`
`error`	Имя файла, в который будет направлен поток `stderr`. Обычно используют значение (о переменной `$(jobid)` см. ниже): # @ error = $(jobid).err
`initialdir`	Рабочая директория, в которую переходит LoadLeveler, когда начинает выполнять задание. Не начинающиеся с прямой косой черты (slash, `/`) пути считаются относительными к данной директории. Значением по умолчанию является путь к директории, из которой задание было поставлено в очередь. Доступ к этой директории со стороны вычислительной системы будет проверен на этапе постановки задачи в очередь. Если директория будет недоступна, то запуск задачи завершится неудачно.
`input`	Имя файла, который с которым будет ассоциирован `stdin`. По умолчанию это `/dev/null`.
`job_type`	Тип задания. На системе Blue Gene/P этому ключевому слову должно быть присвоено значение `bluegene`: # @ job_type = bluegene
`notification = always \| error \| start \| never \| complete`	Определяет, в каких случаях извещать пользователя, указанного в `notify_user`: `always` — при постановке задачи на счет, ее завершении и при возникновении ошибочных ситуаций `error` — только при возникновении ошибочных ситуаций `start` — только при постановке задачи на счет `never` — никогда `complete` — только при завершении задания (по умолчанию)
`notify_user`	Имя пользователя или электронный адрес, на который будет отсылаться почта при наступлении события, указанного в `notification`, например # @ notify_user = yourusername или # @ notify_user = yourusername@example.com
`output`	Имя файла, в который будет направлен поток `stdout`. Обычно используют значение (о переменной `$(jobid)` см. ниже): # @ output = $(jobid).out
`queue`	Помещает задание в очередь. Этот оператор обязателен.
`wall_clock_limit`	Лимит счетного времени в формате `чч:мм:сс` или `мм:сс или сс; время отсчитывается с момента принятия задачи к счету (но не с момента отправки задачи в очередь): # @ wall_clock_limit = 12:00:00`

Переменные в командном файле

Диспетчер очереди LoadLeveler определяет несколько переменных, которые доступные для использования в командном файле. Например, их можно использовать для задания уникальных имен для файлов, с которыми будут связаны стандартные потоки вывода и ошибок. Обращение к переменным осуществляется как

$(variable_name)

Среди доступных переменных выделим следующие:

Переменная	Описание
`$(jobid)`	Номер задания
`$(stepid)`	Номер этапа в рамках задания (подробнее об этапах заданий можно прочитать в официальной документациии

Текст составлен на основе материала книги «Tivoli Workload Scheduler LoadLeveler: Using and Administering» (Version 3 Release 4.3)