4.1.4. Способы построения параллельных программ

На примере простой программы умножения матриц можно увидеть, как использовать OpenMP для создания параллельной программы. Рассмотрим следующий небольшой фрагмент программы умножения двух матриц, используя достаточно простой алгоритм.

for (ii = 0; ii < dim; ii++) {

  for (jj = 0; jj < dim; jj++) {

    for (kk = 0; kk < dim; kk++) {

      array[ii][jj] += array1[ii][kk] * array2[kk][jj];

     }

  }

}

Обратите внимание, что на каждом уровне вложенности циклов тела циклов могут выполняться независимо друг от друга. Так что создать фрагмент параллельной программы достаточно просто: необходимо вставить прагму #pragma omp parallel for перед самым внешним циклом (циклом по переменной ii). Лучше всего вставить прагму перед самым внешним циклом, так как это даст наибольший выигрыш в производительности. В преобразованном цикле переменные array, array1, array2 и dim являются общими для потоков, а переменные ii, jj и kk являются частными для каждого потока. Приведенный выше фрагмент преобразуется к виду:

#pragma omp parallel for shared(array, array1, array2, dim) private(ii, jj, kk) for (ii = 0; ii < dim; ii++) {   for (jj = 0; jj < dim; jj++) {     for (kk = 0; kk < dim; kk++) {       array[ii][jj] = array1[ii][kk] * array2[kk][jj];     }   } }

В качестве другого примера рассмотрим следующий фрагмент кода, предназначенный для вычисления суммы значений f(x) для целых аргументов из интервала 0 <= x < n.

for (ii = 0; ii < n; ii++) {

  sum = sum + some_complex_long_fuction(a[ii]);

}

Для построения параллельной программы приведенного выше фрагмента в качестве первого шага можно сделать следующее:

#pragma omp parallel for shared(sum, a, n) private(ii, value)

for (ii = 0; ii < n; ii++) {

  value = some_complex_long_fuction(a[ii]);

  #pragma omp critical

  sum = sum + value;

}

или, что лучше, можно использовать оператор приведения, в результате чего получится

#pragma omp parallel for shared(a, n) private(ii) reduction(+: sum) for (ii = 0; ii < n; ii++) {   sum = sum + some_complex_long_fuction(a[ii]); }

Анализируя выше приведенные примеры, можно сделать вывод, что создавать параллельные программы можно несколькими способами. Во-первых, следует определить, поддаётся ли алгоритм распараллеливанию. Если создается новый проект, то можно выбрать алгоритм, который может быть распараллелен. Предварительно очень важно убедиться, что программа выполняется правильно в последовательном режиме. Необходимо также определить временные характеристики при последовательном выполнении, по которым можно будет принять решение о целесообразности распараллеливания.

Скомпилируйте последовательную версию в нескольких режимах оптимизации. Вообще говоря, компилятор может выполнить гораздо более серьезную оптимизацию, чем сам программист.

По мере готовности программы для распараллеливания, можно применить ряд функций и средств Sun Studio, которые помогут достигнуть цели. Они кратко описаны ниже.

Можно попробовать применить ключ автоматического распараллеливания компилятора (-xautopar). Доверив распараллеливание компилятору, программист может получить требуемую программу без каких-либо усилий со своей стороны. Кроме того, автоматический распараллеливатель может помочь определить фрагменты программы, которые можно распараллеливать с помощью прагм OpenMP, и в особенности, которые могут помешать распараллеливанию (например, зависимости между повторениями тела цикла). Комментарии компилятора можно просмотреть, скомпилировав программу с ключом – g, и использовав служебную программу er_src(1) из состава Sun Studio, например, следующим образом:

% cc -g -xautopar -c source.c

% er_src source.o

Одним из наиболее распространенных типов ошибок в программировании с использованием OpenMP являются ошибки в определении области действия переменных, когда область действия переменной указывается неверно, например, переменная определяется как общая (частная), в то время как ее нужно определить как частную (общую). Функция автоопределения области действия переменных в компиляторах Sun Studio освобождает программиста от задачи определения областей действия переменных. Поддерживаются два расширения OpenMP: оператор __auto и оператор default(__auto). Отладчик Sun Studio, dbx, поддерживает работу с потоками и может использоваться для отладки программы, использующей OpenMP. Для отладки программы, использующей OpenMP, следует, во-первых, скомпилировать программу без какой-либо оптимизации, использовав ключи компилятора –xopenmp = noopt -g, затем запустить dbx для отладки полученного исполнимого модуля. С помощью dbx можно устанавливать точки останова внутри области параллельности и выполнять программу в области параллельности в пошаговом режиме, проверять переменные, являющиеся частными для потока, и так далее. Система Sun Studio позволяет производить определение узких мест в программе.

Анализатор производительности Sun Studio можно использовать для разных целей. Это средство можно использовать для определения критических областей в программе, занимающих большую часть времени. Кроме того, это средство предоставляет возможности измерения времени работы и ожидания для функций, что может помочь в определении узких мест в программе, использующей OpenMP.

11.3.Спецификация OpenMP для языков C и C++

Спецификация OpenMP для C и C++, выпущенная на год позже фортранной, содержит в основном аналогичную функциональность.

Необходимо лишь отметить следующие моменты:

1) Вместо специальных комментариев используются директивы компилятора «#pragma omp».

2) Компилятор с поддержкой OpenMP определяет макрос «_OPENMP», который может использоваться для условной компиляции отдельных блоков, характерных для параллельной версии программы.

3) Распараллеливание применяется к for-циклам, для этого используется директива «#pragma omp for». В параллельных циклах запрещается использовать оператор break.

4) Статические (static) переменные, определенные в параллельной области программы, являются общими (shared).

5) Память, выделенная с помощью malloc(), является общей (однако указатель на нее может быть как общим, так и приватным).

6) Типы и функции OpenMP определены во включаемом файле <omp.h>.

7) Кроме обычных, возможны также «вложенные» (nested) замки – вместо логических переменных используются целые числа. Нить, уже захватившая замок, при повторном захвате может увеличить это число.

Пример распараллеливания for-цикла в C:

#pragma omp parallel for private(i)

#pragma omp shared(x, y, n) reduction(+: a, b)

for (i=0; i<n; i++)

{

a = a + x[i];

b = b + y[i];

}

Знать, когда использовать технологию OpenMP, не менее важно, чем уметь с ней работать. Целевая платформа является многопроцессорной или многоядерной. Если приложение полностью использует ресурсы одного ядра или процессора, то, сделав его многопоточным при помощи OpenMP, вы почти наверняка повысите его быстродействие.

Приложение должно быть кроссплатформенным. А так как оно реализовано на основе директив pragma, приложение можно скомпилировать даже при помощи компилятора, не поддерживающего стандарт OpenMP.

Выполнение циклов нужно распараллелить. Весь свой потенциал OpenMP демонстрирует при организации параллельного выполнения циклов. Если в приложении есть длительные циклы без зависимостей, OpenMP – идеальное решение.

Перед выпуском приложения нужно повысить его быстродействие. Так как технология OpenMP не требует переработки архитектуры приложения, она прекрасно подходит для внесения в программу небольших изменений, позволяющих повысить его быстродействие.

Эта технология ориентирована в первую очередь на разработчиков высокопроизводительных вычислительных систем и наиболее эффективна, если программа включает много циклов и работает с разделяемыми массивами данных.

Большинство параллельных циклов будут выполняться быстрее последовательных даже при значительно меньшем числе итераций. Это зависит от объема работы, выполняемой на каждой итерации. При этом важно оценивать производительность ПО, так как само по себе применение OpenMP не гарантирует, что быстродействие вашего кода повысится.

OpenMP-директивы pragma просты в использовании, но не позволяют получать детальные сведения об ошибках. Еще одна ситуация, в которой следует сохранять бдительность, имеет место при использовании потоков Windows вместе с потоками OpenMP. Потоки OpenMP создаются на основе потоков Windows, поэтому они прекрасно работают в одном процессе. Увы, OpenMP ничего не знает о потоках Windows, созданных другими модулями. Из этого вытекают две проблемы: во-первых, исполняющая среда OpenMP не ведет учет других потоков Windows, а во-вторых, методы синхронизации OpenMP не синхронизируют потоки Windows, потому что они не входят в группы потоков.