Modus ETL
Управление корпоративным хранилищем данных

Продукт
Разработчики: Modus BI (БиАЙ Про)
Дата последнего релиза: 2021/07/21
Технологии: BI,  Data Quality - Качество данных

Содержание

Основные статьи:


Modus ETL - российское решение, предназначенное для управления процессами ETL и Data Quality Management. Позволяет собирать данные из множества источников, обеспечивает процессы верификации, стандартизации, категоризации и трансформации данных.Российский рынок CRM-систем: оценки, тренды, крупнейшие поставщики и перспективы. Обзор TAdviser 149 т

Modus ETL позволяет сформировать и обеспечить управление корпоративным хранилищем данных на СУБД MSSQL, PostgreSQL или Vertica.

Обеспечивает быстрое подключение источников данных за счет готовых интеграций с 1C, SAP, Oracle, различными СУБД, файлами Excel и другими веб-сервисами.

Решение реализовано на платформе 1С:Предприятие 8.3. Открытый для изменения код с возможностью самостоятельной доработки продукта 1С-разработчиками.

Работает на серверах под управлением ОС Windows и Linux.

Modus ETL включен в единый реестр российского ПО и имеет сертификацию «1С:Совместимо!».

2021

Добавление интерфейса Workflow

В обновленном релизе Modus ETL 1.5 появился интерфейс Workflow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Об этом 21 июля 2021 года сообщила компания Modus BI.

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:

  • размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
  • настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
  • при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.

Кроме того, шаги сценария обработки данных могут выполняться параллельно, что обеспечивает гибкость настройки и большую производительность.

Пример параллельного выполнения шагов сценария в Workflow:

Также в Modus ETL 1.5 реализован обновленный дизайн приложения: изменены стили цветового оформления и существенно переработан интерфейс для большего удобства работы.

Основные возможности по управлению качеством данных

  • управление нормативно-справочной информацией
  • формирование отчетности в эталонных терминах
  • трансформация первичных данных в целевую модель
  • расчет ключевых показателей эффективности

Управление хранилищем данных Modus ETL
Архитектура Modus ETL

2017

Сертификат «1С:Совместимо!»

В 2017 году продукт «Модус:Управления корпоративным хранилищем данных (ETL)» получил сертификат «Совместимо! Система программ 1С:Предприятие».

Особенности и возможности программы

Продукт "Модус:Управление корпоративным хранилищем данных (ETL)" предназначен для построения и управления корпоративным хранилищем данных (КХД), автоматизированного сбора данных из различных источников данных, включая инструменты управления качеством данных.


(Данные актуальны на апрель 2017 года)

Управление сбором данных:

  • Использование в качестве источника "1C:Предприятие" (в т. ч. 1С:Fresh), данных баз данных (MS SQL, Oracle), веб-сервисов, файлов MS Excel;
  • Возможные приемники данных: внешние источники "1C:Предприятие", базы данных MS SQL;
  • Возможность настройки и сохранения правил сбора данных, включая настройки для указанного источника данных;
  • Возможность загрузки данных в несколько потоков (многопоточность);
  • Возможность загрузки данных по расписанию, включая визуализацию расписания загрузки данных;
  • Возможность визуального конструирования запроса на языке SQL/1C;
  • Возможность визуализации структуры метаданных базы "1C:Предприятие";
  • Управление обработкой данных:
  • Возможность настройки правил трансформации данных – сценариев на языке SQL/;
  • Возможность хранения актуальных данных и истории изменения данных (версии данных) в одной таблице;
  • Настройка правил версионирования данных: определение ключевых полей и расчет хэш-сумм;
  • Настройка правил валидации и очистки данных (использование преднастроенных шаблонов);
  • Настройка правил консолидации данных;

Другие возможности:

  • Возможность объединения правил выгрузки данных и сценариев трансформации данных в пакеты и настройку расписания под запуска пакетов;
  • Подсистема логирования процессов загрузки и трансформации данных;
  • Возможность уведомления на электронную почту о событиях системы;
  • Возможность написания произвольного алгоритма (AddOn) при загрузке и обработке данных;
  • Возможность подключения плагинов для процессов обработки данных;
  • Реализацияв системе рабочего места аналитика по сбору данных (АРМ аналитика).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" не является самостоятельной, для ее работы необходимо наличие установленной платформы "1С:Предприятие 8.3" (не ниже версии 8.3.8).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" разработана с использованием функционала "1С:Библиотеки стандартных подсистем".



ПРОЕКТЫ (1) ИНТЕГРАТОРЫ (1) РЕШЕНИЕ НА БАЗЕ (1)
СМ. ТАКЖЕ (3)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (19, 330)
  SAP SE (70, 301)
  Oracle (65, 267)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (4, 236)
  Другие (1081, 1514)

  SAP SE (6, 13)
  Форсайт (2, 8)
  Qlik (QlikTech) (2, 8)
  Microsoft (2, 6)
  Доверенная среда (1, 5)
  Другие (47, 73)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Datareon (Датареон) (1, 54)
  АйТи Про (IT Pro) (1, 4)
  ЮниДата (UniData) (1, 3)
  Modus BI (БиАЙ Про) (1, 3)
  Informatica (2, 1)
  Другие (5, 5)