| Заказчики: Positive Technologies (Позитив Текнолоджиз) Москва; Информационная безопасность Подрядчики: Loginom Company (Аналитические технологии) Продукт: LoginomДата проекта: 2025/03 — 2025/09
|
Технология: Data Mining
Технология: Data Quality - Качество данных
|
2025: Внедрение Loginom
Low-code решение Loginom сократило до секунд время формирования витрин данных для российского разработчика кибербезопасности Positive Technologies. Об этом 9 октября 2025 года сообщили представители Loginom Company.
До проекта информация хранилась в множествах разрозненных источников: базах данных, веб-сервисах и многочисленных Excel-файлах, которые годами накапливались в разных отделах.
При этом бизнес рос стремительно: выручка увеличивалась, клиентская база расширялась, а вместе с ней усложнялись процессы и организационная структура. Обновилась CRM, но данные по-прежнему оставались в изолированных системах, слабо связанных между собой.
Из-за возросшей нагрузки нужная финансовая и операционная информация формировалась с задержками, а ее точность зависела от человеческого фактора. Если требовалось оперативно ответить на вопрос руководства, аналитикам приходилось вручную выгружать данные из нескольких систем, сводить их в таблицах и только потом строить визуализации.
Финальная архитектура решения:
- Извлечение данных: Loginom (low-code платформа, обладающая особыми конкурентными плюсами).
- Хранение данных: ClickHouse (отказоустойчивая кластерная система).
- Витрина данных: Visiology (визуализация).
Обработка файлов осуществляется по достаточно типовому алгоритму Loginom. Пользователь загружает файл в сетевое хранилище, а именно в свою сетевую папку.Ideco: 20 лет в авангарде безопасности
Система по расписанию проверяет эту папку и определяет, были ли изменения. Если файл изменился, система загружает его; если нет — переходит к следующему. В данном случае изменений не было. Полученные данные затем сохраняются в ClickHouse.
Взаимодействие по REST API организовано как одна итерация цикла.
На входе система получает параметры, рассчитывает данные подключения, отправляет запрос сервису. Ответ парсится как JSON в плоскую таблицу, после чего определяется параметр для пагинации: при необходимости запускается следующая итерация, иначе цикл завершается. На выходе формируется итоговая таблица, которая сохраняется в ClickHouse.
Loginom в качестве источника данных использует CRM Creatio (база данных MS SQL).
На вход подается название исходной таблицы. На его основе вычисляется инкремент, в данном случае — максимальная дата обновления, имеющаяся в приемнике (ClickHouse). Фильтруются некорректные значения дат и формируется целевая таблица согласно стандартному сценарию.
Если инкремент не удалось получить, сценарий прекращает обработку. В случае успешного получения инкремента осуществляется анализ данных, фильтрация некорректных значений, идентификация целевой таблицы и последующая загрузка информации в ClickHouse. Все операции выполняются автоматически в рамках заданного алгоритма.
Проект показал: даже в большом и сложном бизнесе можно быстро навести порядок в данных — если выбрать правильные инструменты и не бояться автоматизировать рутину.
Скорость:
- Витрины данных строятся за 5 секунд, раньше на это уходили часы или дни. То есть скорость увеличилась минимум в 1 440 раз.
- Благодаря новому подходу подключение источника данных сократилось с недель до одного дня. Процесс ускорился в 14 раз.
Качество:
- С помощью Loginom создана цельная система, которая автоматически собирает данные из всех источников, проверяет их качество и предоставляет руководству точную аналитику в реальном времени.
- Единая версия правды: больше нет расхождений между департаментами.
- Автоматический контроль гарантирует, что Excel-файлы теперь не могут быть загружены в произвольном виде, поскольку система следит за форматом.
Масштабируемость:
- Платформой Loginom пользуются 150+ менеджеров, и их число растет.
- Система легко масштабируется и позволяет быстро подключать новые источники.
Внедрение Loginom позволило создать инфраструктуру для работы с данными, сократить временные затраты на их обработку и обеспечить менеджмент актуальной и проверенной аналитикой. Это пример успешного внедрения инновационного решения в условиях роста компании и увеличения сложности данных.
