Mail.Ru Cloud Big Data

Продукт
Название базовой системы (платформы): VK Workspace (ранее Облачная платформа Mail.ru для бизнеса)
Разработчики: VK (ранее Mail.ru Group), Mail.Ru Cloud Solutions (MCS)
Дата премьеры системы: 2018/07/10
Дата последнего релиза: 2021/07/21
Технологии: BI,  Big Data,  Data Mining,  MDM - Master Data Management - Управление основными мастер-данными,  PaaS - Platform As A Service - Бизнес-платформа как сервис

Содержание

Основные статьи:

Mail.Ru Cloud Big Data — сервис в рамках Mail.Ru Cloud Solutions на базе Apache Hadoop и Apache Spark, позволяющий вынести обработку данных в облако. Благодаря этому анализ больших данных производится быстро, а компания экономит на создании и обслуживании инфраструктуры, утверждают в Mail.ru Group.

2021: Запуск Hadoop 3.0 как сервиса на базе решения Arenadata

Mail.ru Cloud Solutions 21 июля 2021 года сообщила о запуске Hadoop 3.0 как сервис на базе решения Arenadata.

Сервис открывает возможности для работы с большими данными и гарантирует безопасность, функциональность и высокую производительность. Новые пользователи платформы смогут бесплатно протестировать решение в течение трех месяцев.TAdviser выпустил Карту российского рынка цифровизации строительства 25.3 т

Hadoop — это открытое решение для хранения и анализа больших данных. На его базе платформа Mail.ru Cloud Solutions предоставляет готовые сборки, которые позволят быстро создавать корпоративные хранилища данных (DWH) и Data Lake объемом до нескольких Пбайт, а также проводить извлечение, преобразование и загрузку данных (ETL), поступающих из разных источников.

В сочетание с набором технологий для работы с большими данными Data Science и Data Engineer-специалисты получат готовое решение для извлечения и анализа данных любого типа, которые станут основой для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер несет финансовые гарантии за доступность сервиса, занимается его администрированием и обновлением на последние версии.

Arenadata Hadoop станет одним из компонентов экосистемы облачных сервисов Mail.ru Cloud Solutions для работы с большими данными, ориентированной на потребности крупного бизнеса. Enterprise-версия решения обладает большей функциональностью на уровне политик доступа, а также высокой доступностью: обеспечивает автоматическое восстановление кластера после падения, а также его автомасштабирование при росте объема данных. Дополнительным плюсом сервиса на платформе MCS является поддержка российского разработчика — компании Arenadata.

Платформа использует приближенную к открытой версию Hadoop, что исключает зависимость пользователей от вендора. Arenadata Hadoop выполнена на базе Hadoop 3.0, что позволяет повысить эффективность хранения данных на 50%, обеспечить улучшенную работу с памятью для высоконагруженных приложений и масштабирование до ста тысяч узлов. Arenadata Hadoop зарегистрирован в государственном реестре отечественного ПО.

«
Arenadata Hadoop Enterprise отличается серьезными настройками безопасности и функциональностью для высоких нагрузок, а также возможностью автомасштабирования. Компаниям теперь не надо думать, стоит ли подключать больше дисков для хранения и обработки информации: кластер автоматически расширится в случае необходимости, — говорит Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.
»

В рамках решения Arenadata Hadoop на платформе MCS каждый кластер тарифицируется только по количеству дискового пространства, количество ядер не влияет на стоимость решения. Пользователь платит по модели Pay-As-You-Go, которая подразумевает оплату по мере потребления ресурсов. Специалисты Mail.ru Cloud Solutions и Arenadata проконсультируют по миграции и сложным архитектурным решениям. Кроме того, новые пользователи платформы могут получить бесплатный доступ к Arenadata Hadoop на три месяца, оставив заявку на странице решения Mail.ru Cloud Big Data.

«
Появление облачного сервиса, который имеет в своей основе последнюю версию Hadoop, это хорошая новость для рынка. Такое решение может сильно упростить жизнь командам разработки и компаниям, специализирующимся на анализе больших данных и машинном обучении. Мы планируем протестировать сервис, чтобы оценить перспективы его использования для наших проектов, — сказал Рустам Кильдиев, технический директор компании «Иннодата», российского разработчика решений в области управления большими данными и клиентским опытом.
»

В июле 2021 года Mail.ru Cloud Solutions объявила о расширении сотрудничества с российским разработчиком платформы сбора и хранения данных Arenadata и открыла доступ к распределенной аналитической СУБД с открытым кодом Arenadata DB Cloud версии Enterprise, которая также доступна для бесплатного теста на три месяца. Решение позволяет создать корпоративное хранилище информации с почти неограниченными возможностями масштабирования.

2020: Интеграция с OnCloud.ru

21 декабря 2020 года стало известно о том, что компания «Онланта» и платформа Mail.ru Cloud Solutions заключили соглашение о стратегическом партнерстве в сфере мультиоблачных сервисов. Сотрудничество компаний позволит заказчикам управлять сложными инфраструктурными проектами, используя ресурсы провайдеров через единую «точку входа» с обеспечением сквозной информационной безопасности и SLA. Пользователям облачного сервиса OnCloud.ru теперь доступны дополнительные мощности и компоненты платформы Mail Cloud Solutions: Managed Kubernetes, Database as a Service, IoT-платформа, Big Data Platform. Подробнее здесь.

2018: Запуск

10 июля 2018 года компания Mail.ru Group в рамках инфраструктуры Mail.Ru Cloud Solutions представила масштабируемый PaaS-сервис для компаний, которые собирают и анализируют большие данные — Mail.Ru Cloud Big Data.

Как известно, анализ больших данных позволяет решать широкий спектр задач: от кредитного скоринга, разбора операционной деятельности компании и распределения транспортной нагрузки до поиска ископаемых, проведения исследований в области медицины, социологии, астрономии. Однако чтобы эффективно обрабатывать большие объемы информации, требуются огромные вычислительные мощности: множество дорогих серверов, которые будут обслуживать специально нанятые профессионалы. Не каждому бизнесу нужна собственная инфраструктура для работы с big data.

Сервис Mail.Ru Cloud Big Data — это альтернатива дорогостоящей локальной инфраструктуре для обработки больших данных. Вместо того, чтобы приобретать оборудование, которое будет задействовано несколько часов в неделю и потребует постоянных трат на обслуживание, компания может воспользоваться облачной инфраструктурой в аренду, подчеркнули в Mail.ru Group.

Применение платформ с открытым исходным кодом Apache Hadoop и Apache Spark позволяет быстро и точно обрабатывать огромные объемы данных из разнородных источников. Так, Hadoop оптимален для индексации веб-сайтов, научных исследований (data lake). В свою очередь, Spark — для потоковой обработки и анализа данных в реальном времени: сегментации посетителей сайтов, обнаружения мошенничества, мониторинга транспорта.

При необходимости вычислительные ресурсы масштабируются от пары серверов до сотен и обратно за несколько минут. При этом компания платит только за те ресурсы, которые потребляет: в Mail.Ru Cloud Big Data действует посекундная тарификация.

В то же время, предусмотрена приватная сеть с компонентами Hadoop и другими сервисами в клиентской ИТ-системе для создания гибридного облака, а также миграция приложений для Hadoop из облака Amazon и Azure без изменения кода.

По словам разработчиков, предложения Mail.Ru Cloud Big Data рассчитаны на предоставление облачной платформы, где любые компании могут создавать собственную инфраструктуру и решать ресурсоемкие задачи по анализу данных в корпоративных приложениях, индексации сайтов, финансовому анализу, научным исследованиям и вычислениям, а также машинному обучению.



ПРОЕКТЫ (1) ИНТЕГРАТОРЫ (1) СМ. ТАКЖЕ (7)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (19, 330)
  SAP SE (70, 301)
  Oracle (65, 267)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
  Другие (1081, 1514)

  SAP SE (6, 13)
  Qlik (QlikTech) (2, 8)
  Форсайт (2, 8)
  Microsoft (2, 6)
  Доверенная среда (1, 5)
  Другие (47, 73)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  БизнесАвтоматика НПЦ (1, 3)
  Полиматика (Polymatica) (1, 2)
  Dell EMC (1, 2)
  Informatica (1, 1)
  Minit (1, 1)
  Другие (5, 5)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год