Eastwind DataFlow

Продукт
Разработчики: Eastwind (Восточный Ветер)
Дата премьеры системы: 2018/06/21
Технологии: BI,  MDM - Master Data Management - Управление основными мастер-данными

Основная статья: Определение Business Intelligence

Платформа Eastwind DataFlow автоматизирует процесс управления обработкой данных на Hadoop-кластере. Позволяет создавать и управлять заданиями импорта, экспорта и расчёта на распределённом вычислительном Hadoop-кластере.

2022: Возможности DataFlow

Платформа Eastwind DataFlow имеет интуитивно понятный интерфейс, в котором дата-сайентист может исследовать данные, разрабатывать AI/ML-модели и запускать их в продуктив «на лету», не тратя время на поиск нужных инструментов экосистемы больших данных.

DataFlow оптимизируeт текущую инфраструктуру за счёт набора готовых решений для загрузки, расчётов и выгрузки данных, обеспечивает взаимодействие с утилитами Hadoop.

По информации на декабрь 2022 года платформа позволяет:

  • интегрировать все виды источников данных;
  • делать предпроцессинг данных;
  • создавать и наполнять DataLake;
  • отбирать и анализировать данные;
  • создавать аналитические предиктивные модели;
  • переносить результаты исследований на production-систему Hadoop-кластера;
  • проводить автоматический мониторинг качества работы и метрик созданных моделей;
  • оптимизировать и корректировать модели.

2018: Анонс модуля

Компания Eastwind 21 июня 2018 года представила модуль DataFlow для работы с аналитическими моделями на кластере Hadoop.

EW DataFlow помогает аналитику работать с данными на Hadoop, минуя DevOps-инженеров. Модуль подключается напрямую к кластеру и выводит всю необходимую информацию об имеющихся данных в удобный UI. Таким образом, EW DataFlow выступает в качестве переходника или адаптера для Hadoop.Как зародилась масштабная коррупционная схема при внедрении ИТ в ПФР при участии «Техносерва» и «Редсис». Подробности 38.6 т

В комфортной и интуитивно понятной среде модуля специалист по изучению данных (data scientist) может работать с big data на привычных для себя инструментах: быстро и без посредников. Разработчикам нужно только развернуть систему. Под капотом модуля — кластерные инструменты для расчетов, но весь код непосредственно в UI аналитик будет писать на python.

«
Раньше, когда возникали проблемы с данными на Hadoop, у нас над одной задачей садились работать два человека: дата-сайентист и разработчик, — рассказал Павел Олифер, руководитель отдела социальной аналитики Eastwind. — Компания теряла время и деньги. Мы создали EW DataFlow, чтобы такого не было. Модуль делает работу дата-сайентиста на кластере Hadoop прозрачной. Сам написал код, сам запустил, сам мониторишь. Если что — сам исправил. Ведь аналитика для бизнеса должна быть быстрой и актуальной. Только тогда она будет давать нужный эффект и приносить профит
»

.

Модуль DataFlow обеспечивает единую среду для работы с аналитическими моделями на кластере. В интуитивно понятном UI модуля дата-сайнтист сможет исследовать данные, разрабатывать математические модели и алгоритмы и запускать их в продуктив прямо на кластере Hadoop.

С помощью EW Dataflow можно решать следующие задачи:

  • Подключать новые источники данных.
  • Производить любой процессинг данных (семплирование, исследование, построение моделей, мониторинг и т.д).
  • Запускать модели в продуктив и тюнинговать их.
  • Моментально узнавать о проблемах в работе, находить ошибки в коде и править.
  • Управлять всеми расчетами на кластере.
  • Экспортировать результаты работы в файлы

Экспортированные файлы с данными можно загружать в любые аналитические системы.

Варианты поставки модуля EW DataFlow:

  • Как отдельный продукт — для тех, кто уже работает с данными автоматизировано или вручную,
  • С платформой EW Social Analytics — для тех, кому нужно комплексное решение для аналитики.



СМ. ТАКЖЕ (1)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (19, 330)
  SAP SE (70, 301)
  Oracle (65, 267)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
  Другие (1081, 1514)

  SAP SE (6, 13)
  Qlik (QlikTech) (2, 8)
  Форсайт (2, 8)
  Microsoft (2, 6)
  Доверенная среда (1, 5)
  Другие (47, 73)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (2, 366)
  Цифра (2, 35)
  Axelot (Акселот) (1, 28)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (5, 25)
  Informatica (14, 21)
  Другие (276, 207)

  Datareon (Датареон) (1, 54)
  Commvault (2, 5)
  АйТи Про (IT Pro) (1, 4)
  ЮниДата (UniData) (1, 3)
  Цифра (1, 2)
  Другие (25, 25)

  Datareon (Датареон) (1, 67)
  Цифра (1, 7)
  HFLabs (ХФ Лабс), ранее HumanFactorLabs (3, 5)
  Axelot (Акселот) (1, 5)
  АСКОН (1, 2)
  Другие (14, 15)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год