Интеграция mpich2 и uge для запуска параллельных приложений

В системе UGE существует специальная структура данных – параллельное окружение, которое позволяет учитывать особенности работы приложений, использующих технологии параллельного программирования.

Решение проблемы контроля процессов параллельных заданий для UGE основано на использовании механизма параллельных окружений вместе с дополнительным пакетом скриптов интеграции UGE и MPICH2. Для интеграции MPICH2 и UGE необходимо создать файл Mpich.template параллельной среды [83].

pe_name mpich

slots 64

user_lists NONE

xuser_lists NONE

start_proc_args /opt/sge-root/mpi/startmpi.sh -catch_rsh $pe_hostfile

stop_proc_args /opt/sge-root/mpi/stopmpi.sh

allocation_rule $round_robin

control_slaves TRUE

job_is_first_task FALSE

urgency_slots min

Для запуска параллельных приложений необходимо создать скрипты

#!/bin/csh -f

#

#

# (c) 2007 Sun Microsystems, Inc. All rights reserved. Use is subject to license terms.

# ---------------------------

# our name

#$ -N MPI_Job

#

# pe request

#$ -pe mpich 2-8

#

# MPIR_HOME from submitting environment

#$ -v MPIR_HOME

# ---------------------------

#

# needs in

# $NSLOTS

# the number of tasks to be used

# $TMPDIR/machines

# a valid machine file to be passed to mpirun

echo "Got $NSLOTS slots."

mpiexec -n 2 ~/tests/matrixmultiplication

root@ubuntu:~# qhost

HOSTNAME ARCH NCPU LOAD MEMTOT MEMUSE SWAPTO SWAPUS

-------------------------------------------------------------------------------

global - - - - - - -

ubuntu lx24-x86 4 0.66 2.0G 1.1G 4.4G 35.5M

ubuntu1 lx24-x86 2 0.00 497.3M 28.3M 0.0 0.0

ubuntu2 lx24-x86 2 0.00 497.3M 24.3M 0.0 0.0

ubuntu3 lx24-x86 2 0.01 1002.4M 26.1M 0.0 0.0

ubuntu4 lx24-x86 2 0.10 1002.4M 26.9M 0.0 0.0

Интеграция uge и Globus toolkit для запуска приложений через drmaa

В UGE используется программный интерфейс DRMAA (Distributed Resource Management Application API), который позволяет работать из любого другого приложения или для написания скриптов. Именно для этого интерфейса мы делали интеграцию Globus Toolkit и UGE [94],[95]. Пользователи Globus могут запускать задание с командой globusrun-ws через DRMAA. Для интеграции UGE и Gram необходимо выполнить следующие шаги:

univa@ubuntu1:~$ wget http://www.lesc.ic.ac.uk/projects/globus_gram_job_manager_setup_sge-1.1.tar.gz

univa@ubuntu1:~$ wget http://www.lesc.ic.ac.uk/projects/globus_scheduler_event_generator_sge-1.1.tar.gz

univa@ubuntu1:~$ wget http://www.lesc.ic.ac.uk/projects/globus_scheduler_event_generator_sge_setup-1.1.tar.gz

univa@ubuntu1:~$ wget http://www.lesc.ic.ac.uk/projects/globus_wsrf_gram_service_java_setup_sge-1.1.tar.gz

univa@ubuntu1:~$ gpt-postinstall

univa@ubuntu1:~$ globusrun-ws -submit -F https://ubuntu.sge.com:8443/wsrf/services/ManagedJobFactoryService -Ft SGE -c /bin/sleep 120

Submitting job...Done.

Job ID: uuid:bb57bd70-a556-11da-9d3e-0011d8b1eb22

Termination time: 02/25/2006 16:58 GMT

Current job state: Pending

Current job state: Active

Current job state: CleanUp

Current job state: Done

Destroying job...Done