14 Методы коммутации

Сообщение – логически завершенная порция данных (файл, запрос на пересылку файла и т.п.). Сообщения могут иметь любую длину. Пакет – часть сообщения ограниченной длины. Пакеты перемещаются по сети независимо друг от друга. Для обеспечения возможности «сборки» пакетов и восстановления цельного сообщения каждый пакет имеет заголовок, в котором находится информация об адресе получателя и номере пакета. Выделяют три метода коммутации в коммуникационных сетях параллельных вычислительных систем: 1. Коммутация с промежуточным хранением (метод коммутации пакетов). Сообщение разбивается на пакеты и пересылается на следующий узел, как только освобождается очередной канал передачи. На очередном узле сообщение полностью принимается и хранится в специальном буфере до освобождения следующего канала. Буферизация требует дополнительных затрат времени и памяти, задержка пропорциональна расстоянию между источником и адресатом. 2. При коммутации цепей (коммутации каналов) между источником и получателем сообщения устанавливается непрерывная цепь, состоящая из отдельных каналов связи, проходящих через промежуточные узлы, после чего выполняется передача данных. Коммутируемый канал устанавливается только на время соединения отправителя и адресата.

Метод виртуальных каналов обеспечивает накопление пакетов в промежуточных узлах только при недоступности очередного канала связи. В противном случае пересылка выполняется немедленно и без буферизации.

8 Определение эффективности, производительности, загрузки, времени ответа. Степень соответствия системы своему назначению называется эффективностью системы. Обычно эффективность не удаѐтся определить одной величиной, и поэтому еѐ представляют набором величин, называемых характеристиками системы. Естественно, этот набор должен наиболее полно отображать основное свойство системы. Если это свойство мы определим, как способность системы выполнять заданные функции, сохраняя во времени значения своих параметров в заданных пределах, то основными характеристиками системы должны быть следующие:

производительность

надѐжность

стоимость

Для того чтобы характеристику, а, следовательно, и эффективность системы оценить количественно, вводится понятие показателя характеристики. С точки зрения оценки эффективности вычислительных систем, еѐ показатели определяются параметрами системы, в качестве которых выступают величины определяющие, например, число процессоров, ѐмкость памяти, быстродействие основных компонент ВС. Таким образом, последовательность объектов, с помощью которых осуществляется оценка эффективности ВС, может быть представлена следующим образом: свойство – характеристика – показатель – параметр

Как было уже определено выше, производительность это характеристика вычислительной мощности системы, определяющая количество вычислительной работы, выполняемой системой в единицу времени (другими словами, количество прикладных задач, выполненных системой в единицу времени). В настоящее время существует большое количество различных способов, методов и методик оценки производительности ВС и это связано не только с существованием огромного количества видов ВС, но и с тем, что производительность определяется большим числом параметров, как самой вычислительной системы, так и прикладных задач. Поэтому существует довольно сложная проблема выделения частных показателей производительности ВС и параметров, оказывающих наиболее сильное влияние на значения этих показателей. Среди частных показателей можно отметить следующие: номинальная производительность комплексная производительность системная производительность.

Номинальную производительность (НП) ВС можно определить как совокупность таких параметров системы как быстродействия устройств, входящих в е. состав (процессора, памяти, канала обмена):

Таким образом, номинальная производительность характеризует только

потенциальные возможности вычислительной системы, которые не могут быть

достигнуты в реальной обстановке решения конкретной прикладной задачи. Следует

отметить, что довольно часто номинальная производительность оценивается только одним

параметром - быстродействием основного элемента системы - процессора, а в случае

нескольких процессоров - суммарным их быстродействием.

Для того, чтобы оценить влияние на производительность таких факторов как

конфликты при обращении процессора к памяти, каналам ввода-вывода и другим общим

ресурсам системы, используется другой показатель - комплексная производительность

(КП). Комплексная производительность, так же как и НП определяется совокупностью тех

же параметров, однако, их значения вычисляются как произведения значений

быстродействий в формуле для НП на некоторые коэффициенты Кi, принимающие

значения меньшие единицы: Время ответа. Время ответа, иначе время пребывания заданий, (задач) в системе, –

длительность промежутка времени от момента поступления задания в систему до момента

окончания его выполнения. Чаще всего время ответа оценивается средним значением,

которое определяется как статистическое среднее случайной величины

Время ответа слагается из двух составляющих: времени выполнения задачи и

времени ожидания. Время выполнения задачи при отсутствии параллельных процессов

равно суммарной длительности всех этапов процесса – ввода, обращения к внешней

памяти, процессорной обработки и вывода.

Время ожидания – сумма промежутков времени; в течение которых задача

находилась в состоянии ожидания требуемых ресурсов. Ожидание, возникающее при

мультипрограммной обработке, когда ресурс, необходимый задаче, занят другой задачей и

первая задача не выполняется, ожидая освобождения ресурса. Время ожидания зависит в

первую очередь от режима обработки задач и интенсивности входного потока задач

(заданий).

Одной из довольно часто встречаемых единиц измерения НП процессора является MIPS - миллион команд в секунду. При решении научно-технических задач, в которых интенсивно используется арифметика с плавающей точкой, производительность процессора оценивается в MFLOPS - миллион элементарных арифметических операций над числами с плавающей точкой в секунду. Как единица измерения MFLOPS предназначена для оценки производительности только операций с плавающей точкой, и поэтому не применима вне этой ограниченной области.

Надежность – свойство системы выполнять возложенные на нее функции в заданных условиях функционирования с заданными показателями качества: достоверностью результатов, пропускной способностью, временем ответа и др. Работоспособность системы или отдельных ее частей нарушается из-за отказов аппаратуры – выхода из строя элементов или соединений. Стоимость СОД – это суммарная стоимость технических средств и программного обеспечения. Стоимость технических средств определяется их составом и техническими характеристиками, Устройства с более высокими техническими 106

характеристиками – быстродействием, емкостью, надежностью – имеют более высокую стоимость. Стоимость программного обеспечения определяется в основном затратами на разработку программ и тиражируемостью программ – числом систем, в которых используются программы. Затраты на разработку программ наиболее существенно зависят от сложности программ.

12 Важнейший элемент архитектуры - коммуникационная сеть, связывающая процессоры с памятью, процессоры между собой, процессоры с другими устройствами. Топологией вычислительной системы называется способ организации ее внутренних коммутаций. Существует 2 типа топологий коммуникационных сетей – статические (все соединения фиксированы) и динамические (в межпроцессорных соединениях используются переключатели). Кроме того важны методы коммуникации. Статические топологии Соединение с помощью одиночной шины (рис. 19). Недостаток – низкая пропускная способность, обратно пропорциональная числу процессоров. В один момент времени возможна только одна пересылка данных/команд. Одномерная решетка или "линейка" (рис. 20, а) - у каждого элемента, кроме первого и последнего имеется по две связи с соседями. Система из n узлов содержит n-1 соединение. Соединив первый и последний узел, получим топологию связи "кольцо" (рис. 20, б), с двумя новыми полезными свойствами. Во-первых, средняя длина пути между узлами в 2 раза меньше, чем у одномерной решетки. Во-вторых, увеличилась отказоустойчивость системы, за счет возможности передачи сообщений по двум независимым направлениям. Двумерная решетка (рис. 21) обеспечивает хорошее быстродействие. Для передачи данных между процессорными элементами (ПЭ) необходимо определить маршрут пересылки данных, при этом для решетки размером n x n требуется максимум 2(n-1) промежуточных узлов. Топология использовалась при построении суперкомпьютера Intel Paragon. В топологии "звезда" (рис. 22) центральный элемент имеет N-1 соединение, чем ограничивает применимость данной топологии для больших систем. Топология удачна для схемы мастер/рабочие (master/slave), когда один головной процесс раздает задания подчиненным процессам. Полносвязная топология (рис. 23) подразумевает непосредственную связь каждого процессора со всеми остальными. У каждого процессора N-1 соединение, общее число связей N(N-1)/2. Пересылки могут выполняться одновременно между различными парами ПЭ. Быстродействие системы очень высоко, как, правда, и стоимость. С увеличением числа ПЭ стоимость существенно возрастает. В соответствии с топологией двумерного тора (рис. 24) могут быть соединены вычислительные узлы кластеров, использующих сеть SCI. В настоящее время компания Dolphin поставляет сетевые комплекты, позволяющие объединять узлы в трехмерный тор. Двоичный гиперкуб – распространенная, хорошо масштабируемая и очень удачная топология (рис. 25). В ней 2k процессоров организованы в k-мерный гиперкуб. У каждого процессора k непосредственных соединений (k = log2N), максимальное расстояние между узлами k. Для адресации узлов в гиперкубе каждому узлу присваивается идентификационный номер (ID). Двоичное представление ID соседних узлов отличается одним разрядом. Алгоритм пересылки сообщения от одного узла к другому основан на побитовом сравнении двоичных представлений ID текущего узла и адресата. Для каждого процессора легко определить всех его соседей – они отличаются лишь значением какого-либо одного разряда в двоичном представлении ID. Каждая грань k-мерного гиперкуба является гиперкубом размерности k-1Динамические топологии

Многокаскадные сети основаны на использовании 2х2 перекрестных переключателей – коммутаторов. В таких сетях на одном конце находятся процессоры, на другом – процессоры или другие узлы, а между ними располагаются переключатели. При передаче информации от узла к узлу переключатели устанавливаются таким образом, чтобы обеспечить требуемое соединение. На рис. 26 приведена схема соединения «омега», являющейся сетью с блокировкой, в которой один маршрут передачи данных может заблокировать другие маршруты. Для соединения n процессоров с n модулями памяти требуется (n/2)*log2n переключателей. Матричный коммутатор (рис. 27) обеспечивает полную связность, т.е. любой процессорный элемент (ПЭ) может связаться с любым другим процессорным элементом или модулем памяти (МП). Естественно, в ситуации, когда два процессора захотят работать с одним модулем памяти, один из них будет заблокирован. На пересечении линий располагаются элементарные точечные переключатели, которые разрешают или запрещают передачу информации. Недостаток – большой объем необходимого оборудования и, как следствие, ограниченная масштабируемость системы. Для связи n процессоров с n модулями памяти необходимо n2 элементарных переключателей.

28 Параллельно-векторные системы (PVP). Основным признаком PVP-систем является наличие специальных векторно-конвейерных процессоров, в которых предусмотрены команды однотипной обработки векторов независимых данных, эффективно выполняющиеся на конвейерных функциональных устройствах. Как правило, несколько таких процессоров (1-16) работают одновременно над общей памятью (аналогично SMP) в рамках многопроцессорных конфигураций. Несколько таких узлов могут быть объединены с помощью коммутатора (аналогично MPP). Эффективное программирование подразумевает векторизацию циклов (для достижения разумной производительности одного процессора) и их распараллеливание (для одновременной загрузки нескольких процессоров одним приложением). ( NEC SX-4/SX-5, CRAY J90/T90) 8.4 Кластерные системы. Термин "кластер" введен в обиход компанией Digital Equipment Corp. в середине 1980-х. Архитектура, в основе которой лежит понятие кластера - группы компьютеров, соединенных сетью, которые работают вместе как одна машина с несколькими центральными процессорами, разделяющими общую дисковую память. Кластер может объединять в единые вычислительные системы компьютеры самого разного типа, как простые однопроцессорные системы, так и компьютеры с архитектурой SMP и даже NUMA. Кластеры используются как дешевая альтернатива суперкомпьютерам. Кластерные технологии стали логическим продолжением MPP систем. Если процессорный модуль в MPP системе представляет собой законченную вычислительную систему, то следующий шаг напрашивается сам собой: почему бы в качестве таких вычислительных узлов не использовать обычные серийно выпускаемые компьютеры. Развитие коммуникационных технологий, а именно, появление высокоскоростного сетевого оборудования и специального программного обеспечения, такого как MPI, реализующего механизм передачи сообщений над стандартными сетевыми протоколами, сделали кластерные технологии общедоступными. Кластерные конфигурации обеспечивают высокую степень отказоустойчивости. Основной проблемой являются высокие коммуникационные затраты. Существует множество технологий соединения компьютеров в кластер (Ethernet, Myrinet Fast Ethernet, Gigabit Ethernet, SCI и пр.). Кластеры - дешевый вариант MPP. ( Avalon, Beowulf). Обычно это сеть из серийных PC или рабочих станций общего назначения, которая объединяется в ''виртуальную многопроцессорную машину''. Кластерные технологии стали логическим продолжением развития идей, заложенных в архитектуре MPP систем. В самом начале кластеры применяли для увеличения надежности компьютеров, сейчас эта технология также позволяет увеличить быстродействие вычислительной платформы. Кроме этих двух характеристик кластерной технологии — быстродействия и надежности — есть еще несколько дополнительных требований, которые важны при использовании кластеров в современных вычислительных системах. Вот эти требования: а) скорость резервного копирования и восстановления данных; б) функциональные возможности по переносу нагрузки с аварийных узлов на исправные узлы; в) параллельный доступ к базе данных; г) средства настройки высокого уровня готовности; д) единое внешнее представление системы; е) восстановление после аварии. Одним из бесспорных преимуществ кластерных технологий перед "традиционными" суперкомпьютерами является соотношение цена/ производительность. Производительность кластеров повышается за счет увеличения количества серверов или количества дисков, или того и другого, в зависимости от класса решаемых задач. При этом время отклика уменьшается, однако увеличивается стоимость кластера. Выигрыш, полученный за счет малого времени отклика, должен соизмеряться с ценой потерь, возникающих из-за недогрузки оборудования, что характеризуется критерием сбалансированности.