Полиматика BI

Продукт
Разработчики: Полиматика (Polymatica)
Дата последнего релиза: декабрь 2017 года
Технологии: BI,  Data Mining,  OLAP

Содержание

Отчетно-аналитическая платформа «Полиматика» - система класса Business Intelligence, систем Data Mining, OLAP-серверов и интерактивных визуализаторов. В основу платформы заложены скорость обработки больших объемов разнородных данных и простота в использовании математических алгоритмов и статистических моделей. OLAP-сервер не имеет ограничений по глубине и детализации анализа исходных данных. Согласно результатам исследования «IBS Экспертиза», решение позволяет осуществлять OLAP-операции с «живыми» данными (2 млрд строк) за 3 секунды на всем массиве, операции Data Mining (кластеризация объектов, 2 млрд строк) приблизительно за 17 секунд на всем массиве и обеспечивает компрессию данных в 12+ раз без потери исходной детализации.

  • выполнение правил Э.Кодда для OLAP-обработки данных
  • аналитическое самообслуживание пользователя
  • нет ограничений на объемы данных с сохранением детализации

  • совмещение функций визуализаторов и аналитических продуктов
  • многократное ускорение решения прикладных задач
  • партнерские модули
  • OEM – сервер

  • OLAP-операции с «живыми» данными (2 млрд строк) – 3 секунды на всем массиве
  • операции Data Mining (кластеризация объектов, 2 млрд строк) – от 17 секунд на всем массиве
  • компрессия данных в 12+ раз без потери исходной детализации

Примеры анализа полного объема данных

  • госструктуры (3+, 23+ млрд записей)
  • банки из ТОП-10 (3+ млрд записей)
  • телеком (2+ млрд записей)

Аналитическая платформа

«Полиматика» является промышленным BI-решением для аналитической работы с большими массивами разнородных данных в режиме реального времени. Возможности платформы покрывают широкий спектр задач, включая обработку данных и их статистический анализ, визуализацию полученных результатов на интерактивных графиках, диаграммах и web-картах, подготовку отчетных форм с использованием табличных представлений и графических компонентов, а также проведение глубинных исследований многомерных данных с использованием методов продвинутой аналитики[1].

Платформа полностью создана на базе собственных разработок «Полиматика Рус». С нуля и без использования модулей сторонних производителей были реализованы технологии аналитической обработки данных в режиме реального времени (OLAP-in-memory) и ускорения вычислений с использованием графических процессоров (GPU-acceleration), а также разработаны продвинутые методы интеллектуального анализа информации (Data-Mining).

Самостоятельный подход к созданию продукта позволил избежать критических недостатков существующих BI-решений, таких как технологические ограничения на объемы обрабатываемых данных, ограниченность функций в работе с данными, сложность использования отдельных инструментов и, как следствие, небольшое число конечных пользователей таких систем.

«Полиматика» ориентирована в первую очередь на самостоятельную работу пользователей (аналитическое самообслуживание). Платформа предоставляет набор визуальных аналитических инструментов и простые в использовании методы продвинутого анализа информации, при этом пользователь системы всегда работает с данными в исходной детализации. За счет использования OLAP-технологии и вычислительных ресурсов графических процессоров время отклика системы сохраняется на уровне нескольких секунд даже при одновременной обработке миллионов объектов и миллиардов записей.

В то же время платформа поддерживает процессы регламентированной обработки данных. Предусмотрена настройка прав доступа пользователей к исходным данным OLAP-кубов на различных уровнях, для обмена отчетными формами используется встроенная система профилей, которая позволяет назначить роли пользователям согласно действующим в организации регламентам.

Архитектура аналитической платформы «Полиматика»

Архитектура аналитической платформы «Полиматика»


«Полиматика» построена на базе многоуровневой архитектуры, каждый компонент которой, в свою очередь, включает в себя несколько модулей. Модульность архитектуры обеспечивает удобную масштабируемость платформы по мере роста требований к ее возможностям: количество пользователей, объем обрабатываемых записей или количество подключений к источникам данных, а также позволяет использовать в работе только необходимые компоненты платформы), существенно повышая эффективность использования решения, как с технической, так и с экономической точки зрения. Поддерживается развертывание и полнофункциональная работа системы в закрытом контуре (без доступа к интернету), запуск отдельных модулей на различных физических устройствах.

Основным компонентом платформы является аналитический OLAP-сервер, объединенный с модулями Data Mining. Сервер «Полиматики» работает под управлением операционной системы на базе Linux (Ubuntu, Red Hat, CentOS и другие), включая сертифицированные версии для госорганов и организаций, работающих с секретной информацией, например, AstraLinux, Smolensk.

«Полиматика» предъявляет доступные технические требования к аппаратному обеспечению. Так, например, для работы с OLAP-кубом размером до 2 миллиардов записей необходим сервер с двумя процессорами, 256 ГБайт оперативной памяти и видеокарта Nvidia с 16 ГБайт видеопамяти, а при работе с «небольшими» OLAP-кубами, до 100 миллионов записей, достаточно двухпроцессорного сервера с оперативной памятью 32 ГБайта, наличие видеокарты при этом не требуется.

В платформе реализовано эффективное использование ресурсов оперативной памяти и жесткого диска: при работе пользователя в системе в оперативную память сервера загружаются только «активные» на текущий момент данные OLAP-куба, а при импорте из источника обеспечивается сжатие данных более чем в 12 раз.

«Полиматика» позволяет загружать данные в систему из различных источников. Поддерживается импорт из реляционных баз данных MySQL, MS SQL, Oracle, PostgreSQL, распределенных хранилищ Teradata и решений на базе Hadoop, бизнес-приложений, CRM-систем и других информационных систем, а также плоских табличных файлов. Загрузка данных в систему и создание OLAP-кубов осуществляется путем написания стандартного SQL-запроса к базе данных, предусмотрена возможность автоматического обновления данных в кубе по расписанию. При работе с табличными файлами используется прямой импорт данных, а для «нестандартных» источников компания предоставляет инструментарий для низкоуровневой загрузки данных.


На стороне клиента все действия пользователь выполняет в веб-браузере стандартными манипуляциями мышью (перетаскивание, выделение, вызов контекстного меню, левый/правый клик). Адаптивный интерфейс системы позволяет комфортно работать в системе на любом устройстве: компьютер, ноутбук, планшетный ПК или телефон. Поддерживается использование всех популярных веб-браузеров с настройками по умолчанию, дополнительные требования к установке Active-X, Flash или других компонентов отсутствуют.

Клиентская программа (браузер или приложение) взаимодействует с аналитическим сервером посредством отправки API-команд на выполнение операций и получение результатов расчетов. При этом вся нагрузка по выполнению расчетов лежит на сервере, клиентская программа только отображает полученные данные и не выполняет никаких ресурсоемких задач.

Наличие API-команд сервера позволяет использовать возможности «Полиматики» для решения узкоспециализированных задач, встраивать аналитические модули платформы в корпоративные порталы, бизнес-приложения и внутренние информационные системы. Платформа поддерживает возможность разработки дополнительных модулей для решения отраслевых задач.

Технологии платформы «Полиматика». Data Mining

Data Mining-модули платформы «Полиматика» позволяют быстро выполнять интеллектуальный анализ данных OLAP-куба - многомерные расчеты на миллионах записей занимают не более минуты, при этом гарантируется 100% достоверность и повторяемость полученных результатов. Двусторонняя связь модулей с данными OLAP-куба обеспечивает пользователей системы мощным математическим аппаратом и эффективной визуализацией. Использование модулей не требует от пользователя глубоких математических знаний, длительных процессов поиска нужной модели и настройки параметров - запуск модуля и расчеты выполняются по нажатии на одну кнопку.

Применение DataMining-метода «Кластеризация» в «Полиматике»

Платформа включает в себя Data-Mining-модули: «кластеризация» – распределение объектов по группам на основании одного или нескольких параметров, выбор оптимального количества групп и расчет кластеров; «ассоциативные правила» – расчет и выявление основных паттернов поведения объектов и определение популярности и достоверности совместного возникновения событий; «прогнозирование» – определение максимально достоверных значений ключевых параметров объектов в будущем на основании доступных исторических данных.

Технологии платформы «Полиматика». GPU Acceleration

Технология ускорения вычислений на графических процессорах Nvidia используется в «Полиматике» для обеспечения комфортного времени отклика системы при работе с OLAP-кубами больших размеров, от 100 миллионов записей. При получении запроса на выполнение аналитической операции система автоматически определяет наиболее эффективный вариант проведения расчетов (процессор, видеокарта или гибридный режим) и распределяет вычисления между доступными ресурсами.

Платформа на аппаратном уровне поддерживает работу на кластере серверов, объединенных по технологии InfiniBand. В данном случае система автоматически создает пул доступных физических ресурсов и выполняет распределение задач между ними.

2017: Полиматика 5.1.8

Технологии нейронных сетей становятся все более популярными, их все чаще применяют для решения задач бизнеса. Быстрыми темпами растет и рынок больших данных. К технологиям, которые позволяют быстро и качественно анализировать Big Data, интерес на рынке резко возрос в 2017 году. По данным исследования аналитического агентства Research and Markets инвестиции в мировой рынок больших данных в 2017 году составили 57 миллиардов долларов. Технологии и продукты для обработки больших данных остаются востребованными в различных отраслях по всему миру.

Компания Polymatica анонсировала в декабре 2017 года обновление аналитической платформы – Polymatica 5.1.8. Платформа использует технологии Data Mining и нейронных сетей, благодаря которым стали возможными аналитика в реальном времени и обработка всего доступного объема данных за минуты.

Обновленная Polymatica позволяет решать такие задачи, как: детальное обоснование для принятия управленческого решения в условиях «сжатых» сроков, снижение нагрузки и сокращение расходов на ИТ-департамент, оптимизация процесса аналитики, построение удобной детальной отчетности и другие.

2016

В реестре российских программ

Компания «Полиматика Рус» получила официальное право на предоставление программного обеспечения государственным организациям. Министерство связи и массовых коммуникаций РФ включило отчетно-аналитическую платформу «Полиматика» в Единый реестр российских программ для электронных вычислительных машин и баз данных.

Согласно приказу ведомства, «Полиматика» вошла в список российских программ класса «Системы сбора, хранения, обработки, анализа, моделирования и визуализации массивов данных». Включение «Полиматики» в официальный реестр отвечает новым требованиям о переходе государственных организаций на отечественное программное обеспечение. Согласно постановлению правительства РФ, с 1 января 2016 года все российские госорганы и госучреждения обязаны закупать софт у компаний, которые входят в реестр отечественного ПО.

Полиматика 5.0

Полиматика 5.0 выйдет в конце июня 2016 года и включит в себя ряд разработок компании как для российского, так и мирового рынка интеллектуального анализа больших данных и систем бизнес-аналитики. Особенностью отчетно-аналитической платформы «Полиматика 5.0» является снятие технологических и функциональных ограничений на процессы анализа и обработки информации. С помощью данной версии «Полиматики» пользователи смогут одновременно обрабатывать весь массив имеющихся данных, получая полную свободу в работе с информацией. Благодаря использованию технологий онлайн-обработки данных в оперативной памяти (OLAP in-memory), ускорения вычислений с использованием графических процессоров (GPU-acceleration) и веб-интерфейсу время отклика системы остается на уровне нескольких секунд даже при работе с миллиардами записей.

Многослойный интерфейс

  • вместо закладок – слои
  • удобно для мобильных устройств
  • больше информации с одного взгляда

Среди других отличительных особенностей платформы – многослойный интерфейс и поддержка пользовательских данных. В «Полиматике 5.0» будет реализована возможность одновременной работы с несколькими интерактивными слоями для полноты анализа информации, а также опция ввода дополнительных размерностей и фактов, которые не содержатся в первоначальном источнике данных. Пользователи системы получат возможность «на лету» формировать структуры данных и в несколько кликов проводить сложные расчеты на различных уровнях обработки информации.

  • усовершенствованное ядро
  • новый формат OLAP-кубов
  • уровни расчета фактов
  • поддержка пользовательских данных
  • многослойный интерфейс

Поддержка пользовательских данных

  • ассортиментное планирование (fashion-розница)
  • прогнозирование и моделирование
  • бюджетирование

Примечания





Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2015 год
2016 год
2017 год
Текущий год

  Qlik (QlikTech) (64, 425)
  Прогноз (35, 301)
  SAP SE (94, 297)
  IBM (67, 289)
  Loginom Company (ранее BaseGroup Labs Аналитические технологии) (2, 226)
  Другие (760, 1025)

  IBM (13, 38)
  Qlik (QlikTech) (3, 32)
  РИСКФИН (1, 21)
  SAP SE (7, 16)
  Oracle (8, 13)
  Другие (41, 60)

  БизнесАвтоматика НПЦ (1, 38)
  Qlik (QlikTech) (2, 26)
  SAP SE (9, 24)
  Oracle (5, 8)
  IBM (5, 7)
  Другие (42, 56)

  SAP SE (6, 13)
  Объединенное кредитное бюро (ОКБ) (4, 13)
  Qlik (QlikTech) (3, 10)
  БизнесАвтоматика НПЦ (1, 10)
  IBM (7, 9)
  Другие (31, 49)

  SAS Institute Inc. (САС Институт) (6, 8)
  Oracle (4, 8)
  БизнесАвтоматика НПЦ (1, 8)
  Qlik (QlikTech) (1, 7)
  SAP SE (5, 5)
  Другие (33, 39)

Распределение базовых систем по количеству проектов, включая партнерские решения

За всю историю
2015 год
2016 год
2017 год
Текущий год

  QlikView - 379 (352, 27)
  Prognoz Platform - 292 (283, 9)
  Deductor - 225 (225, 0)
  IBM Cognos - 153 (57, 96)
  SAP BusinessObjects - 92 (45, 47)
  Другие 1089

  Visary (Визари АИС) - 38 (38, 0)
  QlikView - 18 (18, 0)
  Qlik Sense - 8 (8, 0)
  SAP BusinessObjects - 8 (2, 6)
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 4 (4, 0)
  Другие 70

  Visary (Визари АИС) - 10 (10, 0)
  ОКБ: Скоринг Бюро - 8 (6, 2)
  Qlik Sense - 6 (6, 0)
  QlikView - 4 (3, 1)
  SAP Business Intelligence (SAP BI) - 4 (2, 2)
  Другие 67

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2015 год
2016 год
2017 год
Текущий год

  Qlik (QlikTech) (1, 18)
  Anaplan (1, 2)
  Infor (1, 1)
  IBM (1, 1)
  CDC (Центр Корпоративных Разработок, СиДиСи) (1, 1)
  Другие (3, 3)

  Qlik (QlikTech) (1, 3)
  Anaplan (1, 3)
  БАРС Груп (1, 3)
  Pentaho (1, 2)
  Полиматика (Polymatica) (1, 2)
  Другие (2, 3)

  Qlik (QlikTech) (1, 7)
  Anaplan (1, 2)
  БАРС Груп (1, 2)
  Infor (1, 1)
  IBM (1, 1)
  Другие (4, 4)

Распределение базовых систем по количеству проектов, включая партнерские решения

За всю историю
2015 год
2016 год
2017 год
Текущий год

  QlikView - 352 (352, 0)
  Deductor - 225 (225, 0)
  IBM Cognos TM1 - 40 (40, 0)
  Ranet OLAP - 26 (11, 15)
  Anaplan Smart Business Platform - 21 (21, 0)
  Другие 110

  QlikView - 25 (25, 0)
  IBM Cognos TM1 - 8 (8, 0)
  КлиК-Управление: торговля - 8 (8, 0)
  Anaplan Smart Business Platform - 1 (1, 0)
  Deductor - 1 (1, 0)
  Другие 5

  QlikView - 18 (18, 0)
  Anaplan Smart Business Platform - 2 (2, 0)
  Оптимум OLAP - 1 (1, 0)
  IBM Cognos TM1 - 1 (1, 0)
  Infor BI - 1 (1, 0)
  Другие 3

  Anaplan Smart Business Platform - 3 (3, 0)
  QlikView - 3 (3, 0)
  БАРС.Alpha BI - 3 (3, 0)
  Pentaho BI - 2 (2, 0)
  Flextera BI - 2 (2, 0)
  Другие 3

  QlikView - 7 (7, 0)
  Anaplan Smart Business Platform - 2 (2, 0)
  БАРС.Alpha BI - 2 (2, 0)
  DiAna: Digital Analytics Pro - 1 (1, 0)
  IBM Cognos TM1 - 1 (1, 0)
  Другие 4