Распределённые файловые системы

Распределённые файловые системы известны и как сетевые файловые системы.

• Amazon S3

• Andrew file system (AFS) — масштабируемая и независимая от расположения ФС, имеет сильный кэш-клиент и использует Kerberos для авторизации. Различные внедрения используют оригинальные части от IBM (ранее Transarc), Arla и OpenAFS.

• Arla — Свободно распространяемые сервер и клиент с поддержкой AFS

• Apple Filing Protocol (AFP) — ФС от Apple Computer. AFP может использовать протокол Kerberos для авторизации.

• CIFS — Распределённая ФС, основанная на SMB с поддержкой UNIX-прав и блокировок, при этом использующая DNS имена машин, а не NetBIOS, в отличие от SMB.

• DCE Distributed File System (DCE/DFS) — ФС от IBM (ранее Transarc) похожа на AFS и полностью соответствует стандарту POSIX и стандартам систем высокой доступности. Доступна для ОС AIX и Solaris под запатентованной лицензией.

• NetWare Core Protocol (NCP) — ФС от Novell. Используется в сетях, основанных на NetWare.

• Network File System (NFS) изначально от Sun Microsystems, теперь является стандартом в UNIX-подобных сетях. NFS может использовать протокол Kerberos для авторизации и кэш клиента.

• RFS (Remote File Sharing — совместное использование удаленных файлов) — сетевая файловая система только^[5] для UNIX System V, начиная с Release 3. Использует протокол интерфейса транспортного уровня TLI.

• OneFS (англ.) — One File System, полностью журналируемая, распределённая ФС, разработанная Isilon Systems. Позволяет хранить более 150 Тбайт данных.

• OpenAFS — Открытая реализация распределенной файловой системы AFS.

• Self-certifying File System (SFS), Глобальная сетевая файловая система, разработанная для безопасного доступа к файлам через различные административные домены.

• Server Message Block (SMB) — Изначально разработана IBM (большинство общих версий серьёзно модифицировано Microsoft) — является стандартом в Windows-ориентированных сетях. SMB также известна как Common Internet File System (CIFS) — Общая Файловая система в Интернет. SMB может использовать протокол Kerberos для авторизации.

• v9fs — Распределённая файловая система для ОС Plan 9 и Inferno.

Распределенные параллельные файловые системы с защитой от сбоев

Распределенные файловые системы, являющиеся параллельными и с защитой от сбоев, разделяют и реплицируют данные на многие сервера для высокой производительности и обеспечения целостности данных. Даже когда сервер дает сбой, данные не теряются. Данные файловые системы используются в высокоскоростных вычислениях и кластерах высокой доступности.

Все здесь перечисленные файловые системы фокусируются на высокой доступности, масштабируемости и высокой производительности, если не указано иначе.

• Ceph — свободная распределённая файловая система, может использоваться на системах, состоящих как из нескольких машин, так и из тысяч узлов. Не требует какой-то особой поддержки от ядра. Может работать поверх блочных устройств, внутри одного файла или используя существующую ФС.

• Coda — ФС, созданная в Carnegie Mellon University и нацеленная на операции, адаптируемые к пропускной способности канала (включая операции в режиме off-line). Использует кэш на стороне клиента для мобильных компьютеров. Данная ФС является потомком AFS-2 и доступна для Linux под лицензией GNU GPL.

• dCache — ФС от компаний Fermilab и DESY. Является бесплатным ПО (однако не относится к свободному программному обеспечению из-за лицензионных ограничений).

• ExaFS — Распределенная ФС от Exanet. Идет как часть ExaStore, основанном на Linux NAS решении запущенном на оборудовании Intel, обслуживает NFS v2/v3, SMB/CIFS и AFP для Microsoft Windows, Mac Os, Linux и других UNIX клиентов. Доступна под патентованной лицензией.

• Gfarm — ФС, использующая OpenLDAP или PostgreSQL для метаданных и FUSE или LUFS для монтирования. Доступна в Linux, FreeBSD, NetBSD и Solaris под лицензией X11.

• GlusterFS — Настраиваемая, высоко производительная кластерная ФС, распространяемая как часть GNU Clustering Platform. Доступна для любой POSIX совместимой операционной системы, под лицензией GNU GPL.

• GPFS — General Parallel File System, виртуальная файловая система для параллельной обработки данных разработанная IBM. Поддерживает репликацию между подсоединенными блочными устройствами хранения. Доступна в AIX, Linux и Windows. Синхронная или асинхронная репликация (настраиваемо).

• Google File System — Кластерная ФС, оптимизированная для работы с большими блоками данных по 64 Мб, а также обладающая повышенной защитой от сбоев. Вся информация копируется и хранится в трех местах одновременно, при этом система способна очень быстро находить реплицированные копии, если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce. Является коммерческой тайной компании Google. Доступна только через Google App Engine.

• IBRIX Fusion — Программный пакет Fusion Software Suite, реализующий кластерную файловую систему Segmented File System. Создана компанией IBRIX. Доступна в Linux под патентованной лицензией.

• Lustre — Предназначена для использования в больших Linux-кластерах (от 1000 машин) Используется на многих самых производительных кластерах в мире. Лицензия GNU GPL.

• MooseFS — MooseFS это отказоустойчивая, распределенная сетевой файловая система. Она распространяет данные на несколько серверов, которые видны пользователю как один ресурс. Для стандартных файловых операций MooseFS выступает в качестве других Unix-подобных файловых систем. Совместима со стандартом POSIX.

• MogileFS — Распределенная ФС, созданная в рамках проекта LiveJournal и реализованная на уровне многоплатформенного приложения на Perl. Не совместима со стандартом POSIX, использует плоское пространство имен, уровень приложений, MySQL для метаданных и протокол HTTP для транспорта. Разработана компанией Danga Interactive. Доступна в Linux под лицензией GPL.

• OneFS distributed file system — Компания Isilon. Основанная на ОС BSD на выделенном Intel оборудовании, обслуживает NFS v3 и SMV/CIFS для Windows, Mac OS, Linux и других UNIX клиентов, доступна под патентованной лицензией.

• Panasas ActiveScale File System (PanFS) — Компания Panasas — использует объектные устройства хранения. Доступна в Linux под патентованной лицензией.

• PeerFS — Radiant Data Corporation — Фокусируется на высокой доступности и высокой производительности, использует репликацию типа точка-точка с множественными источниками и целями. Доступна в Linux под патентованной лицензией.

• POHMELFS (Parallel Optimized Host Message Exchange Layered File System) — кэш-согласованная распределенная файловая система, может рассматриваться как более быстрая и изящная замена широко распространенного протокола сетевого доступа к файловым системам Network File System (NFS). 9 июня 2009 года поддержка POHMELFS была включена в версию ядра Linux 2.6.30.

• Tahoe^[6] — данные дублируются, шифруются, поддерживается контроль доступа^[7], написана на Python под GPLv2

• TerraGrid Cluster File System — Terrascale Technologies Inc — Реализует связанность кэша под запросу и использует стандарт iSCSI и модифицированную версию файловой системы XFS. Доступна в Linux под патентованной лицензией.

В разработке:

• zFS, от компании IBM (не путать с ZFS от Sun Microsystems) фокусируется на кооперативном КЭШе и распределенных транзакциях, использует объектные устройства хранения. Находится в разработке и на данный момент недоступна.

• Hadoop Distributed File System — Бесплатный клон GoogleFS

• Kosmos Distributed File System — ФС, разработанная Kosmix, теперь^{[источник не указан 1484 дня]} является свободным ПО.

• HAMMER/ANVIL от Matt Dillon

• OASIS от ETRI. Весьма схожа с Lustre или Panasas. Доступна в Linux через специальную программу переноса программ, предоставленную ETRI.

• Parallax^[8]

• XtreemFS^[9] — Бесплатная открытая параллельная, объектно-ориентированная файловая система. Разработана как часть XtreemOS^[10], полностью интегрирована с управлением Virtual organization (VO).