Google Mesa

Продукт
Разработчики: Google
Дата премьеры системы: 2014/08/08
Технологии: СУБД,  СХД

Mesa - распределенная СУБД для обработки непрерывно обновляемой информации, в состоянии обслужить триллионы запросов в течение суток.

8 августа 2014 года компания Google анонсировала технологию распределения хранилища данных между несколькими дата-центрами с помощью разработанной в компании архитектуры, способной продолжить путь к гораздо более масштабным, надежным и быстрым облачным аналитическим системам - Mesa.

В Google сообщили: Mesa обеспечит хранение петабайтов данных, обновляет миллионы строк в секунду и обслуживает триллионы запросов в сутки. Возможно распределение системы между несколькими центрами обработки данных и она будет продолжать работу при отключении одного из них. Технология создана для хранения и анализа контрольно-измерительных данных бизнеса онлайн-рекламы Google, но, по мнению разработчиков, систему можно использовать в других похожих задачах.

Mesa помогла Google решить ряд операционных задач, с которыми не справлялись традиционные хранилища данных и аналитические системы уровня предприятия.

Google требовалось чтобы новые данные подлежали анализу непосредственно по поступлению в базу, а большинство коммерческих хранилищ данных не поддерживают непрерывное обновление данных. Компания нуждалась в надежной гарантии согласованности запросов - консистентности, то есть одинаковый запрос из одного и того же источника всегда должен дать один и тот же результат, независимо от того, какой ЦОД обрабатывает запрос.Российский рынок ERP-систем сократился, но приготовился к росту. Обзор и рейтинг TAdviser 250.1 т

Это соответствие всегда обеспечивали только реляционные СУБД, но они не справляются с загрузкой петабайт данных, тем более, если база тиражируется между многими серверами в кластере, как это обычно делается на предприятиях для ускорения отклика и увеличения коэффициента безотказной работы. Базы NoSQL, такие как Cassandra, с легкостью справляются с загрузкой огромных объемов данных, но Google требовался гораздо более высокий уровень консистентности, чем обеспечивают большинство нереляционных СУБД. По словам специалистов компании, ни один из коммерческих продуктов и проектов Open Source не отвечал требованиям и тогда была создана Mesa.

В Mesa используется ряд других технологий, разработанных в компании, в том числе распределенная файловая система Colossus, распределенная система хранения данных BigTable и аналитический фреймворк MapReduce. Консистентность помогает обеспечивать распределенный протокол синхронизации Paxos, тоже созданный в Google.

Mesa имеет еще одно преимущество помимо масштабируемости и консистентности — она может работать на стандартных серверах, не требует специализированного дорогостоящего оборудования. Из-за этого она может действовать в качестве облачного сервиса, масштабируемого как вверх, так и вниз - по необходимости.

Mesa не поддерживает опрос данных с помощью команд SQL. Поэтому для Hadoop разработали технологии с поддержкой языков запросов, схожих с SQL - Hive, Impala и Shark.



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Oracle (44, 179)
  SAP SE (6, 175)
  Microsoft (23, 142)
  PostgreSQL Global Development Group (14, 118)
  Постгрес профессиональный (ППГ, Postgres Professional) (6, 37)
  Другие (253, 201)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  SAP SE (1, 101)
  NetApp (25, 66)
  Рэйдикс (Raidix) (19, 50)
  IBM (30, 43)
  Dell EMC (68, 32)
  Другие (676, 337)

  SAP SE (1, 8)
  NetApp (5, 7)
  Aerodisk (Аеро Диск) (5, 6)
  Lenovo (1, 6)
  Lenovo Data Center Group (1, 6)
  Другие (18, 19)

  Aerodisk (Аеро Диск) (3, 2)
  Hewlett Packard Enterprise (HPE) (1, 1)
  Lenovo Data Center Group (1, 1)
  NetApp (1, 1)
  КНС Групп (Yadro) (1, 1)
  Другие (6, 6)

  КНС Групп (Yadro) (1, 1)
  Synology (SLMP PTE) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год