2 Грид-технологии

Следующий естественный и необходимый шаг — создание программного инструментария (middleware) для управления распределенными ресурсами таким образом, чтобы эти ресурсы с точки зрения пользователей были доступны по принципу единого входа. Именно за этот инструментарий отвечают технологии грид (Grid). Метакомпьютинг играл роль первого поколения в развитии грид-технологии. Слово грид не аббревиатура и в прямом переводе обозначает «решетка», но правильнее его употреблять в смысле «вычислительная сеть» по аналогии с энергосетью, из которой можно потреблять энергию, не заботясь о том, кем и где она произведена.

Грид — географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы.

Критерием, по которому можно отличить является ли распределенная система гридом или нет, является следующее [3]:

- грид – это такая система, которая координирует использование ресурсов при отсутствии централизованного управления этими ресурсами;

- использует стандартные, открытые, универсальные протоколы и интерфейсы;

- обеспечивает высококачественное обслуживание, с точки зрения таких характеристик как время отклика, пропускная способность, доступность и надежность.

В настоящее время выделяют три основных типа грид-систем:

1) Добровольные гриды — гриды на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров.

2) Научные гриды — хорошо распараллеливаемые приложения, программируются специальным образом (например, с использованием Globus Toolkit).

3) Гриды на основе выделения вычислительных ресурсов по требованию (коммерческий грид) — обычные коммерческие приложения, работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью грид-технологий. Коммерческие гриды по сути и есть облачные вычисления.

Идеи грид-системы (включая идеи из областей распределённых вычислений, объектно-ориентированного программирования, использования компьютерных кластеров, веб-сервисов и др.) были собраны и объединены Фостером, Кессельманом и Тики, которых часто называют отцами грид-технологии. Они начали создание набора инструментов для грид-компьютинга Globus Toolkit, который включает не только инструменты менеджмента вычислений, но и инструменты управления ресурсами хранения данных, обеспечения безопасности доступа к данным и к самому гриду, мониторинга использования и передвижения данных, а также инструментарий для разработки дополнительных грид-сервисов [4].

В развитии научных грид можно выделить три направления:

- вычислительный грид (Computational Grid);

- грид для интенсивной обработки данных (Data Grid);

- семантический грид для обработки данных из различных баз данных (Semantic Grid).

Целью первого направления является достижение максимальной скорости вычислений за счет глобального распределения этих вычислений между тысячами компьютеров, а также, возможно, серверами и суперкомпьютерами.

Целью второго направления является обработка огромных объемов данных относительно несложными программами. Поэтому вычислительные ресурсы грид-инфраструктуры в этом случае зачастую представляют собой кластеры персональных компьютеров. А вот доставка данных для обработки и пересылка результатов в этом случае представляют собой достаточно сложную задачу.

Грид-системы третьего направления - семантические - предоставляют инфраструктуру для выполнения вычислительных задач на основе распределенного мета-информационного окружения, позволяющего оперировать данными из разнотипных баз, различных форматов, представляя результат в формате, определяемом приложением .

Одним из крупнейших проектов, целью которого является создание грид-системы для обработки научных данных, является проект EGEE (Enabling Grids for E-sciencE) [5]. Для сравнения приедем объемы данных, которые необходимо обрабатывать в разных областях науки. Изучение климата > 10 PB (петабайт – тысячи терабайт), биоинформатика (геномика, исследования протеинов, метаболизма) >20 PB, астрофизика – 8 PB, цифровой обзор неба – 15 TB, химия – 4 PB, материаловедение – 0,35 PB. Так, например, только в одном научном проекте Earth System Grid Center for Enabling Technologies (ESG-CET) [6] по моделированию климата объединено 25 центров моделирования климата из 19 стран мира, в которых в общей сложности применяется 58 различных моделей и циркулирует ~10 PB данных, реплики данных составляют 2–3 PB (см. рисунок 1).