26. Системы массового параллелизма и многоядерные процессоры
Системы с массовым параллелизмом (МРР).
Системы с распределённой памятью содержат несколько процессоров, каждый из которых имеет свою оперативную память. Для обеспечения обмена информацией процессоры соединены каналами связи см. рис. 12, 13.
Рис. 12. ВС с массовым параллелизмом.
По характеру связей такие системы делятся на системы с универсальной коммутацией (каждый процессор может передать информацию любому другому процессору) и системы с фиксированной коммутацией (каждый процессор может передать информацию только ограниченному числу других процессоров).
Преимущества:
Простота и дешевизна построения. Можно взять большое количество обычных компьютеров, соединить их каналами связи (например, Ethernet), и получить МPP систему.
Эффективное решение задач, требующих малого обмена данными. Каждый компьютер будет работать в полную мощность, не ожидая, пока освободится доступ к оперативной памяти.
Возможность решать задачи, требующие очень больших объёмов оперативной памяти. Суммарный объём памяти системы можно сделать сколь угодно большим. Требуется лишь, чтобы задача разбивалась на относительно независимые подзадачи.
Возможность масштабирования. можно соединить сколько угодно вычислительных узлов вместе, при этом стоимость системы будет пропорциональна числу узлов. [9]
Недостатки:
Проблема обмена данными. Обмен данными в таких системах обычно идёт очень медленно по сравнению со скоростью вычислений (и с большими задержками). Поэтому задачи, требующие интенсивного обмена, невозможно решить на таких системах эффективно.
Сложное программирование. Программисту нужно продумать обмен данными, который будет присутствовать в системе, он сам должен запрограммировать этот обмен (например, с помощью MPI). При неправильном программировании велика вероятность взаимных блокировок. Например, когда два процессора ждут данных друг от друга. Проблема блокировок есть и в системах с общей памятью, но здесь она проявляет себя гораздо чаще. Автоматическая организация обмена данными возможна лишь для некоторых частных случаев.
Большой размер систем и большое энергопотребление. Такие системы занимают целые комнаты и даже здания. [9]
Стоит также упомянуть о том, что многие современные системы представляют собой иерархию описанных выше систем. Например, современные процессоры являются конвейерными процессорами, и имеют набор векторных инструкций (MMX, SSE). Таким образом позволяют выполнять одновременные вычисления с разными данными. Кроме того, процессор может иметь два ядра, или может быть несколько процессоров в компьютере. На этом уровне система представляет собой систему с общей памятью. Затем можно соединить несколько таких компьютеров, образовав новый уровень иерархии - систему с