Storage Spaces Direct (S2D)

Продукт
Разработчики: Microsoft
Технологии: СХД

Содержание

Microsoft и Mellanox задают правила игры на рынке гиперконвергенции

Гиперконвергентные инфраструктуры (HCI) становятся одной из наиболее перспективных технологий для создания частных и гибридных облаков. Идею HCI предложили стартапы, раньше других осознавшие возможность радикальных изменений и успевшие занять лидирующие позиции в этом сегменте рынка. Однако и отраслевые тяжеловесы, как обычно задержавшиеся на старте, но обладающие достаточным научным и техническим потенциалом, делают все возможное, чтобы занять подобающее им положение.

Общая ситуация такова: независимо от того, под каким брендом производится та или иная конкурентная HCI, она состоит из четырех взаимосвязанных компонентов – серверы, СХД, сеть и виртуализация СХД с целью создания общих пулов (Storage Pool). В этом отношении, пожалуй, единственное исключение представляет собой трехкомпонентный подход к образованию HCI на базе Intel Xeon Scalable с чип-сетом Intel C620 и СХД Optane SSD.

Gartner Magic Quadrant 2016

В качестве поставщика HCI за редким исключением выступают компании, обеспечивающие функционал, а именно два первых из перечисленных выше четырех компонентов. Они могут сами производить серверы и/или СХД, или же могут приобретать их, практически не имея собственного производства, то есть быть, как говорят, фаблесс.

Что же касается двух других компонентов (виртуализационное ПО и сетевое оборудование), которые можно назвать системообразующими, то здесь картина совершенно иная. В этих сегментах есть несколько безусловных лидеров и именно они задают правила игры.

Наиболее популярным и с системной точки зрения устанавливающим стандарт де-факто стал дуэт Microsoft и Mellanox. Microsoft предоставляет своё средство для создания пулов хранения Storage Spaces Direct (S2D), входящее в Server 2016, а Mellanox - полный стек сетевых технологий. Этому сочетанию отдают свое предпочтение такие универсальные вендоры как HPE, Dell-EMC, Supermicro и специализирующиеся на HCI, например, dataON.

Пример использования продуктов Microsoft и Mellanox в HCI от компании dataON

Технологии Microsoft

Программно-определяемый подход к СХД (Software-Defined Storage, SDS) и технология виртуализации дискового пространства впервые появились в Windows Server 2012 под именем Storage Spaces. В Windows Server 2016 вошел обновленный и более успешный вариант Storage Spaces Direct (S2D). S2D способен собирать в общие пулы (репозитории) и, как следует из названия, обеспечивать прямой доступ к пространствам на дисках SATA, SAS и NVMe, размещенных внутри серверов.

Суть концепции дисковых пулов состоит в том, что отдельные физические диски сервера объединяются в один или несколько пулов, на базе которых создаются тома с различными уровнями производительности и отказоустойчивости. В одном пуле могут находиться диски, отличающиеся по объёму, производительности и интерфейсу подключения. Виртуальные диски служат логическими томами. Они могут быть:

  • простыми (simple) аналогами RAID-0, обеспечивая оптимальное использование емкости дисков. Будучи самыми производительными, они не предполагает никакой отказоустойчивости;
  • зеркальными (mirror) аналогами RAID-10 или 1E для нечетного числа дисков. Такой виртуальный диск защищён от потери одного или двух дисков соответственно;
  • с контролем чётности (parity) аналогами RAID-5 и RAID-6 ВД, допуская потерю одного или двух дисков соответственно.

S2D поддерживает:

  • двухъярусное хранение данных (Storage tiers), то есть размещение данных на виртуальных дисках Storage Spaces на SSD и HDD. Для этого при создании томов (виртуальных дисков) указывается комбинация объемов SSD и HDD на каждом из ярусов, файл можно привязать к SSD-ярусу для обеспечения гарантированной производительности;
  • кэш для записи (write-back cache). Для компенсации низкой HDD производительности часть SSD в пуле используется для кэширования записи, при этом оставшаяся часть ёмкости SSD может быть использована для ярусного хранения.

Количественные характеристики S2D:

  • До 240 дисков в одном, пулов может быть несколько.
  • До 80-ти дисков в пуле, до 4-х пулов на кластер.
  • До 64-х виртуальных дисков в одном пуле.
  • Общая емкость пула — до 480 Тб.

S2D реализуется в двух вариантах, по пяти или шестиуровневой модели. На рисунке ниже показана пятиуровневая модель включающая:

  • Уровень серверов, связанных по сетевому протоколу прикладного уровня SMB (Server Message Block), служащему для удаленного доступа к файлам, принтерам и другим сетевым ресурсам и для межпроцессного взаимодействия. В первой редакции он назывался Единая файловая система интернета (Common Internet File System, CIFS) и был разработан IBM, Microsoft, Intel и 3Com в 1980-х годах. SMB был реализован через NetBIOS (поверх NBF, IPX/SPX или NetBIOS over TCP/IP) и использовался в сетях MS-NET и LAN Manager для DOS, а также в Windows for Workgroups.
  • Шина Software Storage Bus охватывает все серверы, составляющие кластер. При использовании Software Storage Bus каждый сервер может «видеть» все диски на всех серверах в кластере, обеспечивая соединение в сети с полносвязной топологией.
  • Пул хранения (Storage pool) — набор физических дисков. В него могут входить диски, отличающиеся по объёму, производительности и интерфейсу подключения.
  • ReFS (Resilient file system) – как и SMB, вещь не новая. Эта безотказная файловая система, своими корням уходящая в OS/2 и IBM PS2.
  • Локальные дисковые пространства (Storage Spaces) – виртуальные дисковые тома.
  • Виртуальные машины. Этот шестой уровень присутствует, если реализуется гиперконвергентный вариант архитектуры. Если же ограничиваются конвергентной архитектурой или, как ее иногда называют дезагрегацией, то используется пять нижних уровней. Выбор между дезагрегацией и гиперконвергенцией определяется требованиями пользователя. Первый вариант предпочтительнее для меньших по масштабам конфигураций, а второй для более крупных.

Стек технологий Storage Spaces Direct

Технологии Mellanox

На технологии Microsoft приходится программная составляющая описанной выше архитектуры, а непосредственно обмен данными обеспечивает Mellanox. Компания располагает необходимым для этого полным стеком технологий. Преимущество Mellanox заключается в том, что предлагаемые этой компанией продукты соответствуют рекомендации Microsoft относительно использования прямого доступа в память RDMA со скоростью передачи данных между узлами кластера не менее 10 Гб/сек.

Локальная технология прямого доступа к памяти Direct Memory Access (DMA), то есть обращения в память без нарушения работы CPU, известна давно. Она широко используется для подключения периферийных устройств. Но с появлением высокоскоростных сетевых технологий сначала открылась возможность для дистанционного прямого доступа RDMA (Remote Direct Memory Access), а затем и RoCE (RDMA over Converged Ethernet), то есть по усовершенствованной сети Converged Enhanced Ethernet (CEE), отличающейся более высокой пропускной способностью и меньшими задержками. Применение RDMA началось с высокопроизводительного компьютинга HPC и распространилось на HCI. Российский рынок CRM-систем: оценки, тренды, крупнейшие поставщики и перспективы. Обзор TAdviser 149.1 т

Технология реализуется в сетевых контролерах Mellanox, начиная с ConnectX-3 Pro и далее. Новое семейство сетевых карт ConnectX-4 позволяет упростить внедрение RoCE и делает технологию доступной для облачных систем и СХД.

ConnectX-4 Lx EN с пропускной способностью 1/10/25/40/50 Гбит/с спроектирован для решения задач виртуализованных инфраструктур и отличается наивысшей в своем классе производительностью для различных приложений и рынков. В этих адаптерах настоящая аппаратная изоляцию ввода-вывода сочетается с уникальной масштабируемостью и эффективностью. ConnectX-4 Lx EN поддерживает скорости 1, 10, 25, 40 и 50 GbE, обеспечивает задержку менее 1 микросекунды и скорость передачи сообщений 75 млн пакетов в секунду.

Обширный пакет предложений, включающий коммутаторы Mellanox на платформе Open Ethernet, состоит из двух семейств SwitchX-2 и Spectrum. Семейство Open Ethernet включает в себя разнообразное портфолио коммутаторов с форм-фактором 1RU, количеством портов от 12 до 64 и интерфейсами от 1 до 100 Гбит/с, позволяющие спроектировать специализированный центр обработки данных любого размера с любой величиной блокирования. В линейке компании Mellanox присутствуют высокопроизводительные системы коммутаторов с архитектурой Open Ethernet и интерфейсами 10/25/40/50/56/100 Гбит/с, которые обеспечивают максимальную эффективность работы центров обработки данных, решений для облачных вычислений, хранения данных, высокоэффективных вычислений и Web 2.0 в любых масштабах.

Mellanox предлагает широкий выбор кабелей различной длины, пропускной способности и типов носителей. Для физической коммутации HCI используются сертифицированные кабели и трансиверы Mellanox LinkX, они соответствуют всем требованиям стандартов IEEE, а также прошли 100 % испытаний для обеспечения оптимальной целостности сигнала и сквозной производительности. Кабели Mellanox подходят для решений на базе Ethernet, InfiniBand, облачной инфраструктуры и Web 2,0, а также подключений сервер-стоечный коммутатор, сервер-СХД, коммутатор-коммутатор.

Стек технологий Mellanox

Будущее HCI - Microsoft Azure Stack

Azure Stack – это очень мощная заявка Microsoft на место ведущего поставщика решений для гибридных облаков. Предлагаемая стратегия предполагает отказ от самодеятельности при создании собственной платформы и для частных, и гибридных облаков. Вместо этого предлагаются готовые HCI, поставляемые либо самой Microsoft, либо ограниченным кругом партнеров OEM (HPE, Dell, Lenovo и некоторые другие). Такие системы будут полностью совместимы с облаком Microsoft Azure, работающим на RoCE. Для сетей в них будет применяться оборудование от Mellanox, в том числе сетевые адаптеры ConnectX, коммутаторы Spectrum, трансиверы и кабели (медные и оптические) LinkX.

Использование проверенных HCI-решений обеспечивает бесшовное согласование между глобальным облаком Azure и гибридным облаком Azure Stack. А тот факт, что аппаратное обеспечение будет поступать от Microsoft и её партнеров, гарантирует все его необходимые эксплуатационные показатели.

Потенциальный успех Azure Stack дает некоторым наблюдателям говорить о будущих изменениях в гартнеровском квадранте.

Возможные изменения в квадранте Gartner

196

Примечания



СМ. ТАКЖЕ (3)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP SE (1, 101)
  NetApp (25, 66)
  Рэйдикс (Raidix) (19, 50)
  IBM (30, 43)
  Dell EMC (68, 32)
  Другие (676, 337)

  SAP SE (1, 8)
  NetApp (5, 7)
  Aerodisk (Аеро Диск) (5, 6)
  Lenovo (1, 6)
  Lenovo Data Center Group (1, 6)
  Другие (18, 19)

  Aerodisk (Аеро Диск) (3, 2)
  Hewlett Packard Enterprise (HPE) (1, 1)
  Lenovo Data Center Group (1, 1)
  NetApp (1, 1)
  КНС Групп (Yadro) (1, 1)
  Другие (6, 6)

  КНС Групп (Yadro) (1, 1)
  Synology (SLMP PTE) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год