1 Параллельные вычисления. Вводные понятия

Повышение производительности вычислений за счет использования ВС.

Реализация вычислительных систем возможна путем:

1. Распараллеливание задач в рамках одной ВМ (однопроцессорная вычислительная система).

2. Создание многопроцессорных систем или многомашинных сетей (то есть многопроцессорное и многомашинное ВС).

Особенности вычислительных систем - наличие средств, реализующих параллельную обработку, путем построения параллельных ветвей в вычислениях (под параллельными ветвями подразумеваются выполняющиеся одновременно части одного алгоритма).

Уровни параллелизма:

1. Уровень заданий. Приложения (задания) являются независимыми и не взаимодействуют друг с другом в ходе своего выполнения. Реализация возможна в рамках многопроцессорных систем. За каждым процессорным элементом (ПЭ) ВМ закрепляется конкретное задание.

2. Уровень программ. Части одной задачи выполняются в составе многопроцессорной ВС и взаимодействуют при выполнении. (Вычислительные системы с параллельно функционирующими процессорными элементами).

3. Уровень команд. Выполнение команды разделяется на фазы. Предполагается совмещение разных фаз нескольких команд в конвейерном устройстве.

1.1 Параллелизм уровня заданий

Реализуются в многомашинных или многопроцессорных вычислительных системах. Возможна параллельная реализация заданий в однопроцессорной вычислительной машине. Режим реализации - мультипрограммирование.

Отличие мультипрограммирования от распараллеливания

Распараллеливание – это распределение одного процесса обработки между различными устройствами.

Мультипрограммирование – это совмещение разных вычислительных процессов в одном устройстве (процессоре).

Особенности мультипрограммирования:

1. Квантование процессорного времени.

2. Если в ходе выполнения процесс требует ввода-вывода, то он переводится в состояние ожидания (с выделением ресурсов другим вычислительным процессам).

3. Ресурсы ожидавшему процессу выделяются после окончания ввода-вывода.

Параллельность в режиме мультипрограммирования

Параллельность (параллелизм) в режиме мультипрограммирования – это совместная работа центрального процессора (ЦП) и устройств ввода-вывода (Рис. 1.1).

Пример:

Рисунок 1.1 - Пример оптимизации вычислительного процесса в режиме

мультипрограммирования

1.2 Параллелизм уровня программ

Типы параллельности:

1. Параллельность независимых участков, частей одной программы.

2. Параллельность итераций внутри цикла (итерации независимы друг от друга).

Пример: параллельных независимых итераций.

For i=1 to N do

A[i] = B[i]+C[i], где i, j –номера итераций

Так как суммы независимы B_i+C_i и B_j+C_j при j<i, то вычисления могут проводиться в цикле в любой последовательности и выполняться одновременно.

Особенности параллелизма уровня программ

1. Причина возникновения параллелизма - возможность разбиения множества обрабатываемых данных на независимые подмножества (декомпозиция области определения задач);

2. Каждое подмножество обрабатывается отдельным процессом (распределение данных между частями вычислительных задач);

3. Каждый процесс реализуется на назначенном ему процессорном элементе (ПЭ).

Выводы: таким образом, параллелизм уровня программ предполагает независимое решение некоторых задач.