Конференция
Big Data и BI Day 2020
04 марта, 2020

О конференции

4 марта 2020 года TAdviser провел конференцию Big Data и BI Day 2020. Представители компаний-заказчиков и поставщиков решений в сфере больших данных и их анализа обсудили существующие тренды на рынке и рассказали о практическом опыте применения таких продуктов.

Big Data и BI Day 2020

Интерес к теме Big Data и BI не ослабевает: соответствующие конференции, которые TAdviser проводит регулярно, традиционно имеют высокую посещаемость. На этот раз мероприятие посетили более 220 участников. В их числе – представители таких организаций как Сбербанк, «Газпром нефть», «Почта России», Московский метрополитен, «Лукойл-Технологии», ОМК, Московский аэропорт Домодедово, НЛМК, Департамент информационных технологий города Москвы, ВТБ, «Евраз», Министерство информатизации и связи Республики Мордовия, PepsiCo Russia, Adidas Russia, Торговый дом «Комус» и многие другие.

Big Data и BI Day 2020

Содержание

Опыт заказчиков, мнения экспертов

Борис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка, отметил, что развитие больших данных в России способно улучшить качество жизни и принести существенный экономический рост в 0,3% ВВП за 5 лет.

Борис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка
Борис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка

В самом Сбербанке объем данных на 4 квартал 2019 вырос до 120 ПБ, за 1 секунду обрабатывается порядка 12 тыс. транзакций, а в пиковые моменты – и до 20 тыс. Платформа Сбербанка состоит из нескольких слоев. Спикер подробнее остановился на слое «Фабрика данных», корпоративной аналитической платформе. Он перечислил бизнес-задачи этого слоя:

  • управленческая отчетность;
  • регуляторная и налоговая отчетность;
  • массовая персонализация, вторичные продажи;
  • транзакционный скоринг с использованием искусственного интеллекта в потребительском кредитовании;
  • пакетное исполнение моделей, графовая платформа, проверка гипотез;
  • получение единой картины качества данных.

В 2016 – 2018 разработчики платформы по работе с данными фокусировались на Hadoop, но потом поняли, что для реализации всех бизнес-задач этого недостаточно. Сегодня в банке помимо этого решения используются также Oracle, Teradata, Greenplum – в результате получилась гетерогенная платформа.

В будущем планируется:

  • обмен данных с экосистемой;
  • использование ИИ ;
  • более 160 источников;
  • надежность на уровне 99.99+;
  • кибербезопасность нового уровня;
  • «Фабрика данных» будет выведена в SberCloud.

«
Все больше задач требует обработки в режиме реального времени, - констатировал Борис Рабинович. - Требуется искусственный интеллект и все больше специализированных инструментов для разработчиков. Из наших последних достижений – разработанную модель можем вывести в промышленную эксплуатацию автоматом.
»

Александр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы, рассказал о применении продвинутых математических методов в целях предиктивной аналитики. Аналитика задействована для решения следующих задач в рамках предоставления электронных сервисов населению:

  • расчет и прогноз показателей государственных программ;
  • мониторинг качества предоставления сервисов;
  • сбор, хранение и обработка данных;
  • повышение привлекательности электронных сервисов.

Александр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы
Александр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы

В числе прочего изучается поведение пользователя при заказе услуг. Данные, предоставляемые пользователями, собираются в хранилище, дальше подключается НСИ, и вся эта информация подается на вход, анализируется.

Реализованные кейсы:

  • анализ временных рядов – для прогнозирования временных показателей госпрограмм;
  • расчет нагрузки на инфраструктуру - с тем, чтобы обоснованно запрашивать дополнительный пул ресурсов;
  • мониторинг значения показателей работы процессов с целью своевременного выявления аномалий;
  • управление источниками данных, составление прогнозов, какое количество записей должен передать источник в случае аномальных событий – это тоже повод для расследования.

«
На первом плане не достижение экономических показателей, а выполнение показателей госпрограмм и точное следование регламентам в части состава, сроков исполнения, - подчеркнул Александр Филатов. - Еще одна задача – сбор, хранение и обработка данных, возникающих при взаимодействии с пользователем.
»

Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб», а также руководитель центра компетенций BI, выступил с докладом методологического характера. Основная идея выступления – бизнес-аналитика переживает в своем развитии этап демократизации и именно за этим ее будущее.

Юрий Сирота расставил главные приоритеты: сами данные и их анализ - не самоцель, а лишь промежуточные этапы на пути к цели - управленческому действию для повышения эффективности организации в целом. Для достижения результата в организации должны быть устранены административные барьеры, подчеркнул он, создана кросс-функциональная команда, а сами данные должны быть доступными и надежными.

Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб»
Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб»

Спикер перечислил три главных этапа, которые прошла аналитика в своем становлении – централизация, децентрализация и демократизация. Смысл демократизация аналитики, пояснил Юрий Сирота, в том, что пользователи любого уровня могут работать с данными и способны сами решать аналитические задачи.

Современная BI-система должна обладать мощным механизмом загрузки и выгрузки данных. Это делает ее способной интегрироваться с любыми их источниками. Кроме того, современная бизнес-аналитика должна быть обогащена распознаванием голоса, дополненной аналитикой и искусственным интеллектом, считает представитель «Уралсиба».

Машинное обучение - тоже способ демократизации. Далеко не всегда человек способен выделить наилучшую модель из множества данных, отметил спикер. Для этого и развиваются инструменты машинного обучения, автоматизирующие работу data scientist, ускоряющие поиск эффективной модели данных. Вместе с тем, это лишь вспомогательный механизм, выразил уверенность Юрий Сирота, и он не способен заменить эксперта в предметной области.

«
Когда мы говорим о демократизации аналитики, необходимо отметить, что доля пользователей, способных пользоваться продвинутыми методами возрастает, - пояснил Юрий Сирота. - Возрастает доля пользователей, способных строить предикативные модели.
»

Начальник службы информационного обеспечения «Техническая инспекция ЕЭС» Эдуард Луганский рассказал об успешном опыте перехода на отечественную BI-систему в госкомпании. Направления деятельности «Технической инспекции ЕЭС» – контроль оборудования субъектов энергетики, участие в контроле реализации инвестиционных проектов, консультационные услуги по анализу работы ЕЭС России, выявлению рисков снижения ее надежности и безопасности функционирования.

Эдуард Луганский, начальник службы информационного обеспечения «Техническая инспекция ЕЭС»
Эдуард Луганский, начальник службы информационного обеспечения «Техническая инспекция ЕЭС»

В компании давно работает автоматизированная система сбора и обработки информации о техническом состоянии объектов электроэнергетики и их оборудования (АС СиОИ) с большим функционалом: сбор отчетности в личном кабинете субъекта электроэнергетики в режиме онлайн, многоуровневая верификация, анализ данных и многое другое.

Количество пользователей АС СиОИ – больше 6 тыс., субъектов электроэнергетики – больше 1 тыс., объектов – более 57 тыс., аналитических отчетов – более 700. Архитектура решения включает Java, СУБД Oracle, web-сервер Oracle WebLogic и BI Mincom (SAP) Business Object. О замене последней компоненты и шла речь в рамках нового BI, подчеркнул спикер.

С выходом в декабре 2016 года новых методик оценки техсостояния, возникла необходимость построения детальных аналитических отчетов на большом объеме данных с усложнением структуры аналитических отчетов, увеличением объемов данных – более 2,8 млрд. записей, сокращением сроков подготовки отчетов и новых требований к визуализации данных. Ограниченное количество лицензий Business Object, директивы правительства РФ в области импортозамещения – на этом фоне старое решение уже не могло удовлетворить потребности компании, констатировал Эдуард Луганский.

В результате остановились на платформе «Визари»», разработанном НПЦ «Бизнес-автоматика». По состоянию на начало марта 2020-го, основное решение сделали, рассказал спикер. За три месяца основная часть отчетов с наибольшим количеством обращений пользователей и с наибольшим временем выполнения была переведена на новую платформу, а порядка 20% отчетов еще не переведены. Платформу планируется развивать: в частности, планируется замена бумажных отчетов на доступ к BI-системе через систему личных кабинетов.

«
По каждой опоре порядка 100 параметров, и этих опор – тысячи, - констатировал Эдуард Луганский. - Иногда запросы приходят в онлайне, прямиком с совещания – скажите, что происходит на объекте сейчас.

»

Руководитель направления аналитической инфраструктуры «Ситимобил» Константин Севастьянов поделился опытом использования в компании аналитической базы данных Exasol для работы с большими данными. Она задействована в платформе «Ситимобил».

Бизнес компании за год вырос в 15 раз, рассказал Константин Севастьянов, поэтому потребовалась модернизация платформы для хранения и анализа данных. На этапе выбора высокопроизводительной аналитической базы данных с Exasol конкурировали Vertica и Greenplam. По его словам, база данных Vertica отпала по причине недостаточной для компании производительности, свободная СУБД Greenplam – ввиду отсутствия на рынке компаний, способных ее поддерживать.

Константин Севастьянов, руководитель направления аналитической инфраструктуры «Ситимобил»
Константин Севастьянов, руководитель направления аналитической инфраструктуры «Ситимобил»

В числе преимуществ Exasol Константин Севастьянов назвал транзакционность решения, высокую скорость, простоту в эксплуатации, SQL-совместимость, поддержку приложений Windows, встроенные языки java, Python, LUA, совместимость с BI-системами, простоту эксплуатации кластера, возможность сохранения данных встроенными средствами. Объем данных, хранимых в Exasol, порядка 5 терабайт, завершил свой короткий доклад спикер.

Руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ) Андрей Петров рассказал об уже реализованных инициативах по управлению на основе данных в регионах и о международном конкурсе по решению глобальных социальных задач, проводимом в 2020 году.

Андрей Петров, руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ)
Андрей Петров, руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ)

В 9 регионах было внедрено 10 цифровых решений по управлению, основанному на данных, отметил спикер. Обучено порядка 5 тыс. сотрудников органов власти, в сетевом проекте развития компетенций и продвижения технологий искусственного интеллекта приняли участие 102 вуза и несколько ИТ-компаний. В рамках конкурса цифровых решений, проведенного в регионах, были выявлены ключевые проблемы качества данных:

  • при формировании набора данных выявлены пропуски, дублирование, противоречия, отсутствует полная информация об источниках, у некоторых регионов нет практики постановки задач, очистки, обработки, сопоставления и интеграции данных;
  • отсутствие сквозного хеширования и возможности обрабатывать обезличенные персональные данные.

Для решения этих проблем необходимо внедрение практик унификации и стандартизации подходов к сбору, обработке, хранению и передаче информации в регионах, подчеркнул Андрей Петров.

В завершение спикер рассказал о международном конкурсе по решению глобальных социальных задач и внедрению их решений при поддержке международных экспертов, который проводится в 2020 году. Планируется, что при помощи этого конкурса субъекты РФ смогут привлечь к решению социально-экономических задач широкий круг ИТ- и data-специалистов, развить компетенции по управлению, основанному на данных и применения технологий искусственного интеллекта. Есть три этапа конкурса: определения задач, выбора решений и внедрений. Первый этап продлится до мая. В качестве возможных задач спикер привел следующие: выявление причин возникновения бедности и их устранение, качественное изменение условий для роста благосостоянии человека, распознавание азбуки для незрячих и слабовидящих (шрифт Брайля).

Практическую часть бизнес-анализа рассмотрел в своем выступлении начальник отдела компетенций BI «Объединенной металлургической компании» Павел Ульихин. Он рассказал о том, как был пройден путь от выбора BI-решения до внедрения и создания центра компетенций, о предыстории большого проекта.

Павел Ульихин, начальник отдела компетенций BI «Объединенной металлургической компании»
Павел Ульихин, начальник отдела компетенций BI «Объединенной металлургической компании»

В 2017 году на предприятии использовались различные системы бизнес-аналитики - QlikVew, Power BI и другие, но централизованная поддержка отсутствовала, и пользователи сами разбирались с проблемами. Важная предпосылка для реализации проекта - на тот момент уже было внедрено корпоративное хранилище данных со встроенной аналитикой, имевшей ряд недостатков. Основные из них были связаны с визуализацией: пользователи получали отчеты в табличном виде, недостаточной скоростью и качеством работы ИТ-специалистов, формирующих аналитические отчеты. В числе задач проекта была передача формирование отчетов самим пользователям, то есть та самая демократизация, о которой говорил предыдущий спикер.

По итогам исследования рынка и общего голосования в качестве базовой системы была выбрана Tableau. Были закуплены лицензии, развернута инфраструктура, разработке даш-бордов обучены бизнес-пользователи. В компании организовали поддержку пользователей в плане использования функционала системы, раз в неделю проводились очные консультации с подрядчиками, ее внедрявшими. Как результат - проект завершился успешно. Пользователи сформировали порядка 35 панелей, обучили более 100 пользователей, реализовали систему полномочий.

«
К концу проекта все были счастливы. Но потом возникли проблемы, - рассказал Павел Ульихин. – Появилась проблема с обучением новых пользователей. После окончания проекта такие пользователи стали приходить понемногу, но постоянно. К самообучению пользователи оказались не готовы. И вторая проблема – инфопанели для топ-менеджмента. Некоторые требования руководства обыкновенные бизнес-пользователи реализовать оказались не способны. Но мы нашли выход – создали внутренний центр компетенции BI.
»

Руководитель проектов стратегического направления Андрей Писарев, ТК «Мегаполис», рассказал об использовании в компании Qlik Sense. До внедрения этого решения часто наблюдались такие малоприятные явления как расхождение данных между подразделениями, неактуальная информация в отчетах, задержка в получении нужного отчета, сложность сбора данных из нескольких источников, ошибки, медленная выгрузка, манипуляция данными, замедленная реакция ИТ службы на потребности пользователей и многие другие проблемы.

Андрей Писарев, руководитель проектов стратегического направления ТК «Мегаполис»
Андрей Писарев, руководитель проектов стратегического направления ТК «Мегаполис»

На этапе выбора рассматривали Qlik Sense, Tablea и Power BI. В результате остановились на Qlik Sense. Компании понравился интерфейс на русском, хорошие возможности интеграции данных из множества источников, возможность поддерживать небольшими силами – в компании всего два разработчика, которые одновременно занимаются выгрузкой данных и их визуализацией. Основная система в компании – SAP ERP, СУБД Oracle.

«
Раньше бюджет Мегаполиса строился на базе Excel, SAP BW и Power Point, - поделился Андрей Писарев. - Сейчас Qlik Sense может заменить систему моделирования, бюджетирование можем делать в нем же. Следующая вещь, реализованная в Qlik – приложение по налогам, позволившее выявлять ситуации, когда у клиента не закрыт аванс. Одно только это приложение окупило весь проект - нашлась дельта на 50 млн. рублей

»

Денис Матюхин, председатель совета директоров ГК «Аэроклуб», рассказал участникам конференции об автоматизации обработки обращений клиентов по каналам звонков и почтовых сообщений при заказе авиабилетов.

«
Бизнес нашей компании – низкомаржинальный, с очень высокой оборачиваемостью, - заметил Денис Матюхин. - 70% обращений клиентов - запросы на получение публичной информации – когда прибудет рейс и так далее. Монетизировать можно только 30% заказов.
»

Денис Матюхин, председатель совета директоров ГК «Аэроклуб»
Денис Матюхин, председатель совета директоров ГК «Аэроклуб»

В течение года компания принимает порядка 2 млн. заявок на авиабилеты, в день - несколько тысяч изменений, которые компания делает за клиентов: перенос рейса, смена гостиницы. Запросы приходят по онлайн-каналам и в офлайне, на онлайн-канал приходится 65% продаж и 35% на офлайн. Об автоматизации обработки офлайн обращений и шла речь в докладе Дениса Матюхина.

«
Цель – выдать заказчику один вариант билета. Как правильно угадать, чего хочет клиент? Это сложно – велика зависимость от человеческого фактора. Необходимы отсечки, - рассказал Денис Матюхин. - Есть мобильное приложение, с помощью геолокации мы понимаем, где человек живет, работает. И если человек живет ближе к Шереметьево, не нужно предлагать ему Домодедово. Дальше – из предложения выкидываются очень дорогие рейсы. Если пользователь уже летал определенными рейсами, и мы знаем какими, то предлагаем именно тот рейс, которым он уже летал и так далее. В итоге остаются 2–3 рейса. Если угадали, в следующий раз предлагаем то же самое. Так или иначе, результаты выбора клиента записываются и учитываются в последующем
»

«
Что хотим реализовать? В Genesis поступают и звонки, и почта, - заключил Денис Матюхин. - Наша предварительная оценка – уложиться в 5–7 секунд, в два – три гудка, когда клиент ждет, а мы поднимаем информацию о нем, и когда трубка снимается, уже знаем, что кто звонит и чего он хочет
»

Юлия Богачева, представитель Qiwi Group, рассказала об актуальности перехода от экономики продуктов и услуг к экономике впечатлений, для чего необходимо собрать максимальное количество данных от клиентов. При переходе важно учитывать следующие реалии рынка:

  • в условиях постоянного рекламного давления существует устойчивая тенденция к снижению порога реагирования на рекламу;
  • компания зарабатывает не на всех клиентах, а уровень конкуренции за хороших клиентов постоянно растет.

Юлия Богачева, представитель Qiwi Group
Юлия Богачева, представитель Qiwi Group

Насыщение рынка и пресыщенность покупателей смещают фокус компаний от продажи продукта или услуги к продаже впечатления, где сам продукт или услуга играет второстепенную роль, заключила Юлия Богачева. И предложила простую формулу: «Впечатление = реальность/ожидание». Чтобы понимать ожидания, нужно иметь четкий портрет клиента, уметь предсказывать его потребности. Отсюда же вытекает необходимость перехода от ориентации на продукт к ориентации на клиента. Соответственно, компании, осознающие ценность данных и умеющие создавать персонифицированные продукты и услуги, получат в ближайшее время конкурентное преимущество на рынке.

В заключение спикер привела несколько успешных кейсов по работе с клиентами, в частности – с нерассмотренными заявками на выдачу кредита.

«
Одна из реалий современного рынка – коммодитизация. – констатировала Юлия Богачева. - Легко скопировать не только текст, но и услугу. Как только выпускается на рынок продукт – его точная копия через три месяца будет выпущена в Китае
»

Стейдж-интервью

Алексей Нейман, исполнительный директор Ассоциации больших данных (АБД), в стейдж-интервью рассказал об этой организации. В нее входят Сбербанк, «Тинькофф банк», Газпромбанк, «Киви», «Мегафон», «Ростелеком», «Вымпелком», Mail.ru, «Яндекс» и ряд других крупных компаний. Отвечая на вопрос ведущего о трендах этого года в сфере больших данных, спикер выделил пять закономерностей:

  • предстоящий сдвиг регуляторных барьеров в сторону либерализации;
  • изменения в подходах к работе с пользовательскими данными - компании перейдут от анонимизации данных к минимизации рисков при использовании персональных данных;
  • тенденция перехода к экспериментам - будут создаваться собственные песочницы, в том числе - кросс-отраслевые;
  • вопросы кибербезопасности, операционных и технологических рисков;
  • нехватка специалистов, способных проводить эксперименты, внедрять новые решения.

Алексей Нейман, исполнительный директор Ассоциации больших данных (АБД)
Алексей Нейман, исполнительный директор Ассоциации больших данных (АБД)
«
Планов - вагон и маленькая тележка. Мы создали портфель по реализации стратегии: это 18 проектов, направленных на развитие рынка, - рассказал о планах Алексей Нейман. - Проекты объединены в три программы. Первая – повышение доступности данных, вторая – развитие R&D, третья связана с погружением тех отраслей, где о цифровых данных еще только задумываются. Речь идет о тяжелых, традиционных отраслях. Эта программа задумана, чтобы их ускорять, внедрять в традиционно косных отраслях. Есть и планы создания собственной песочницы, много работы в плане раскрытия государственных данных для коммерсантов.
»

Павел Мягких, руководитель службы исследования больших данных Tele2, в стейдж-интервью рассказал о том, как компания использует анализ больших данных во внутренних и внешних проектах. Спикер констатировал, что продукты на основе аналитики больших данных востребованы рынком - за прошлый год выручка Tele2 от внешней монетизации больших данных выросла на 70%. Эффективность внутренних проектов компании на основе больших данных тоже велика, она уже измеряется девятизначными суммами.

Павел Мягких, руководитель службы исследования больших данных Tele2
Павел Мягких, руководитель службы исследования больших данных Tele2

Отвечая на вопрос ведущего о планах компании, Павел Мягких ответил, что предполагается развитие рекомендаций сервисов в режиме реального времени, так, чтобы время вывода сервиса на рынок было минимальным и чтобы рекомендации приходили вовремя. Например, роуминг клиенту нужно предлагать в тот момент, когда человек только прилетел на место отдыха, а не на третий день, когда он уже решил проблему. Второе ключевое направление – геоаналитика, отметил спикер.

«
На основе Big Data мы повышаем эффективность строительства новых базовых станций и управляем емкостью сети. С помощью предиктивной аналитики работаем на опережение и расширяем емкость там, где необходимо, и еще до того, как это стало проблемой для абонентов. Такой проактивный подход позволяет нам предоставлять клиентам качественный сервис и высокую скорость мобильного интернета, - рассказал Павел Мягких. - На основе геоаналитики мы помогаем нашим бизнес-партнерам выбрать оптимальное место для открытия магазина, используя данные о трафике, сегментах аудитории и их потребительских предпочтениях. Умный подход к выбору локации торговой точки снижает инвестиционные риски, позволяет ускорить окупаемость, увеличить оборот.
»

Игроки рынка: тенденции и решения

Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК», подробно остановился на характеристиках и особенностях Exasol – параллельной (MPP) аналитической системы управления реляционными базами данных. Кроме Exasol, компания внедряет и другие аналитические решения – QlickVew, Qlick Sense, YellowFin и Power BI.

Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК»
Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК»

Для работы с большими данными лучше всего подходит именно Exasol, подчеркнул спикер. Это находит подтверждение в мире, говорит он: система немецкой компании работает более чем в 20 странах, ей пользуются более 250 клиентов. В техническом отношении выбор Exasol обусловлен следующими причинами:

  • решению свойственна высокая производительность – в кластере может быть объединено до сотни вычислительных узлов, а скорость работы системы не падает. Это достигается это за счет параллелизации процессов (MPP-механизма), вычислений в оперативной памяти и колоночного хранения;
  • легкость в использовании - простая настройка, оптимизация, работа на x86 серверах;
  • гибкость системы – различные способы развертывания, встроенная система поддержки языков программирования Java, Python и других;
  • масштабируемость – объем данных от 50 ГБ до сотен TB, количество нодов – от одного и свыше 100.

Преимущества системы для бизнес-пользователей – самообслуживание, работа по запросу, единый источник правды, консолидация данных, гибкость. Возможности Exasol плане изучения данных – прогнозная, встроенная аналитика, полнота данных, ускорение процесса их обработки.

«
Exasol забирает из разных источников данные, с которыми внутри системы можно делать множество всяких действий - хранить, быстро обрабатывать, анализировать, - отметил Андрей Краснопольский. - На самом деле Exasol - это полнофункциональная БД, основное преимущество которой – аналитика. Решение может быть установлено в облаке, на площадке заказчика или работать в гибридном варианте.
»

Николай Друкман, директор департамента продаж Spectrum, рассказал об одноименной онлайн-платформе данных Spectrum с информацией о людях, автомобилях, организациях и объектах недвижимости, о специфике работы с данными из различных источников, и об услугах его компании по управлению данными.

Спикер остановился на особенностях внешних источников данных. В частности, во многих организациях еще живы архивные наборы данных из Foxpro, Access и других подобных программ, с которыми нужно работать. Работа с такими источниками предполагает обработку данных «мертвых» форматов, нестандартных вариантов структурирования, проблемы с унификацией структур.

Николай Друкман, директор департамента продаж Spectrum
Николай Друкман, директор департамента продаж Spectrum

Обозначил Николай Друкман и общие проблемы работы с внешними данными. В их числе:

  • большое разнообразие форматов и типов данных, различные виды доступа к ним;
  • нестабильность структуры и доступности источников - необходимы постоянный мониторинг, обслуживание;
  • источники не содержат исторических данных, необходимость постоянной загрузки и хранения копий данных источников;
  • недостаточность данных в одном источнике - некоторые источники дают лишь частичные сведения, поэтому необходимо обогащение данных из других источников;
  • низкие точность и/или актуальность источников данных по отдельности - для получения актуальной информации их нужно сопоставлять;
  • высокая себестоимость получения и обслуживания данных.

«
Работа с внешними данными требует отдельной команды и отдельных бюджетов, - заметил Николай Друкман. - И почему бы не доверить эту задачу внешнему подрядчику, имеющему большой опыт. Обработка и предоставление данных – наша специфика. Мы готовы решать любые задачи в этой сфере.
»

Об отечественном аналитическом движке Luxms BI рассказали Сергей Шестаков, генеральный директор ГК Luxms, и Дмитрий Дорофеев, главный архитектор ГК Luxms, генеральный директор компании «ЯСП». Подход, реализованный в платформе Luxms BI:

  • горизонтальное масштабирование с помощью МРР;
  • обработка критической информации в памяти;
  • сжатая и удобная визуализация.

Дмитрий Дорофеев, главный архитектор ГК Luxms
Дмитрий Дорофеев, главный архитектор ГК Luxms

Ключевые внедрения LUXMS BI – оперативная финансовая аналитика с применением MPP Greenplum в «Ростелекоме», аналитика оказания медицинской помощи в МИАЦ Санкт-Петербурга, контроль показателей болезней кровообращения в четырех федеральных округах в ФГБУ НМИЦ им. Алмазова, проект по импортозамещению BI-системы в «Федеральной транспортной компании», управленческая отчетность в дочерней структуре «Газпром нефти».

Сергей Шестаков, генеральный директор ГК Luxms
Сергей Шестаков, генеральный директор ГК Luxms
«
Обеспечить управленческую визуализацию на большом объеме данных из всех источников – главная задача платформы LUXMS BI, – отметил Сергей Шестаков. – И это не просто красивые слайды – все это есть в нашей системе «под капотом».
»

Разработчик системного интегратора ICL Services Павел Петухов рассказал об использовании в проектах компании аналитики в сфере ритейла на основе Qlik Sense. Заказчики в ритейле интересуются аналитикой по четырем главным направлениям, отметил докладчик: скидочные акции, возможные потери в продажах, выявление мошенничества и производительность кассиров.

Павел Петухов, разработчик системного интегратора ICL Services
Павел Петухов, разработчик системного интегратора ICL Services

Кроме того, розничной торговле требуется план-факт анализ, изучение кросс-продаж, сегментация клиентской базы или ассортимента с целью выделения наиболее ценных клиентов/товаров (ABC-анализ) или наиболее стабильных покупателей, а также товаров, пользующихся постоянным спросом (XYZ-анализ). Есть потребность и в интеграции с геоданными, с логистикой и складами.

Qlik Sense был выбран, по словам спикера, в связи с тем, что:

  • позволяет быстро стартовать, причем как разработчику, так и пользователю;
  • использует ассоциативную модель – гибкость, производительность, удобство построения;
  • имеет широкий набор коннекторов к различным источникам данных и дашбордов.

Павел Петухов отметил, что компания имеет опыт с европейскими заказчиками в сфере ритейла, большую практику автоматизации магазинов.

«
Мы в компании получили набор компетенций, связанных как с Qlik Sense, так и в области анализа данных, - сказал Павел Петухов. – И мы продолжаем развивать как саму систему, так и компетенции в области ритейла.
»

Павел Петухов также поделился мнением о том, какая функциональность решений BI и Big Data в последнее время становится все более востребованной у клиентов, и в каких отраслях они сейчас наиболее востребованы в России. В последнее время все более востребованной становится аналитика, построенная на больших данных, то есть сочетание большого объема данных и скорости их обработки, говорит представитель ICL Services.

«
Растет актуальность обработки так называемых неструктурированных и частично структурированных данных, а также распространяются решения построенные на «озерах данных» (Data Lakes). Что это означает? Это показывает нам, что у компаний возрастает необходимость эти данные структурировать, решать проблему «свалки» данных, - объясняет Павел Петухов. - Де-факто крупные компании реализовали собственные хранилища данных, построенные на современных технологиях. Их решения имеют проработанную архитектуру, дающую возможность обрабатывать и анализировать большие объемы данных, поставлять их с нужной скоростью и в нужном объеме.
»

Он добавил, что в таких решениях применяются аналитические базы данных, такие как Teradata и Oracle. Также предлагаются интеграции на основе Exasol, которая составляет конкуренцию лидирующим решениям.

«
Вызовами для крупных компаний являются продвинутые задачи в сфере AI, а также продолжающийся рост объемов данных. Решения BI и Big Data в России используются, прежде всего, в крупных компаниях: банковская сфера, крупный ритейл, операторы связи, а также в отраслях, традиционно работающих с большим объемом данных: медицина - например, результаты томографии, исследование генома - генетика и селекция, - говорит Павел Петухов.
»

А в качестве примеров в банковской сфере можно назвать такие задачи, как решение о выдаче кредита, предоставление персонифицированных банковских услуг, определение профиля клиента.

Дмитрий Сухамера, директор по развитию бизнеса направления IoT и промышленная автоматизация,Mail.Ru Cloud Solutions (MCS), представил участникам конференции облачные решения от Mail.ru, выделил актуальные проблемы работы с большими данными и методы их решения.

Данные сами по себе ценности не несут, отметил спикер. Ценными являются решения, принимаемые на основе анализа данных. Но их нужно обогащать, а кроме этого нужны специалисты, умеющие добывать из сырых данных ценность. Для всего этого и требуются озера данных, консолидирующие информацию из многих источников.

Дмитрий Сухамера, директор по развитию бизнеса направления <!--LINK 0:128--> и промышленная автоматизация Mail.Ru Cloud Solutions (MCS)
Дмитрий Сухамера, директор по развитию бизнеса направления IoT и промышленная автоматизация Mail.Ru Cloud Solutions (MCS)

Еще одно актуальное направление в работе с большими данными – машинное обучение. Когда информации слишком много и она быстро меняется, для принятия оперативных решений нужны машинные алгоритмы, отслеживающие изменения в данных по большому количеству параметров. Машинное обучение помогает выявлять аномалии, обращать на них внимание специалиста, который становится способен фокусироваться на принятии конкретного решения.

И третье направление – облако. На этом направлении Mail.ru предлагает проверенные быстро запускаемые решения, что особенно удобно для таких задач как проверка гипотез, обработка информации из большого количества ресурсов.

«Набор инструментов для консолидации данных, их обработки и анализа – все есть в облаке, - сказал Дмитрий Сухамера. - Кроме того, есть возможность взять облако Mail.ru – озеро данных как некую инфраструктуру и перетащить к себе, на свою площадку.»

В перерыве и после завершения конференции участники общались в неформальной обстановке.

Big Data и BI Day 2020
Big Data и BI Day 2020
Big Data и BI Day 2020
Big Data и BI Day 2020
Big Data и BI Day 2020

Презентации докладов

Презентация Докладчик
Exasol: самая быстрая Аналитическая база с 20-летней историей Андрей Краснопольский, генеральный директор компании «Консультационная группа АТК»
Good to greatКонстантин Севастьянов, руководитель направления аналитической инфраструктуры «Ситимобил»
Опыт перехода на отечественную BI системуЭдуард Луганский, начальник службы информационного обеспечения «Техническая инспекция ЕЭС»
Spectrum Маркетплейс данных для бизнесаНиколай Друкман, директор департамента продаж Spectrum
Оперативная аналитика на больших данныхСергей Шестаков, генеральный директор ГК Luxms
ICL retail business intelligence Павел Петухов, разработчик системного интегратора ICL Services
Sberbank huge data platform Платформа по работе c данными CбербанкаБорис Рабинович, старший управляющий директор – директор департамента управления данными SberData Сбербанка
Интеграция технологического пыта регионов по внедрению решений на основе данныхАндрей Петров, руководитель программы центра цифрового развития Агентства стратегических инициатив (АСИ)
Big Real-Time Data Безопасные и масштабируемые сервисы от Mail.ru GroupДмитрий Сухамера, директор по развитию бизнеса направления IoT и промышленная автоматизация Mail.ru Cloud Solutions
Опыт применения инструментов Предиктивной аналитикиАлександр Филатов, начальник отдела аналитики и мониторинга Управления развития государственных услуг ДИТ Москвы
Демократизация аналитикиЮрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных Банка «Уралсиб»
Становление BI в ОМК: от выбора системы до создания собственного центра компетенцийПавел Ульихин, начальник отдела компетенций BI «Объединенной металлургической компании»
Распределение входящих заявок на основе Big DataДенис Матюхин, председатель совета директоров ГК «Аэроклуб»
Как бизнес-аналитика помогает принимать управленческие решенияАндрей Писарев, руководитель проектов стратегического направления ТК «Мегаполис»
Big Data –топливо экономики впечатленийЮлия Богачева, представитель Qiwi Group




Архив конференций Big Data и BI Day:

Спикеры и Участники конференции

Борис Рабинович
Старший управляющий директор – директор департамента управления данными SberData, Сбербанк
Павел Ульихин
Начальник отдела компетенций BI, Объединенная металлургическая компания
Александр Филатов
Начальник отдела аналитики и мониторинга Управления развития государственных услуг, ДИТ г. Москвы


Эдуард Луганский
Начальник службы информационного обеспечения, Техническая инспекция ЕЭС
Денис Матюхин
Председатель совета директоров ГК «Аэроклуб»


Алексей Нейман
Исполнительный директор, Ассоциация больших данных


Юлия Богачева
Chief Data and Analytics Officer, QIWI Group


Андрей Краснопольский
Генеральный директор Консультационной группы АТК
Сергей Шестаков
Генеральный директор, ГК Luxms
Дмитрий Дорофеев
Главный архитектор ГК Luxms, Генеральный директор ООО «ЯСП»
Андрей Писарев
Руководитель проектов стратегического развития, ТК Мегаполис
Николай Друкман
Директор департамента продаж, Spectrum


Павел Мягких
Руководитель службы исследования больших данных, Tele2
Константин Севастьянов
Руководитель направления аналитической инфраструктуры, Ситимобил
Павел Петухов
Разработчик, ICL Services
Дмитрий Сухамера
Директор по развитию бизнеса направления IoT и промышленная автоматизация, Mail.ru Cloud Solutions

Контакты

По вопросам регистрации, выступления с докладами или спонсорского участия, обращайтесь по адресу: conf@tadviser.ru

Содержание

Официальный партнер

Партнер

Участник выставки

Информационный партнер

Участники конференции

Сбербанк  —  Управляющий Директор, IT лидер кластера загрузки данных, SberData
ВЦИОМ  —  Директор по цифровизации
Zetta  —  Директор по информационным технологиям
EVRAZ Group S.A  —  Директор по развитию цифровых технологий
ЮниКредит  —  Руководитель направления
МодульБанк  —  chief data officer
СберТех  —  Руководитель направления "риски"
X5 Retail Group  —  Начальник Управления
Ростэк  —  Руководитель проектов
Банк «ДОМ.РФ»  —  Бизнес-партнер
Росатом  —  Руководитель направления
Группа НЛМК  —  Руководитель ИТ
ФГУП ГлавНИВЦ Управления делами президента РФ  —  Начальник отдела информационной безопасности
EY  —  Data & Analytics Lead
Beluga Group  —  Руководитель направления автоматизации отчетности
Merz Pharma Group  —  Руководитель отдела бизнес-анализа
Группа страховых компаний Югория  —  Заместитель генерального директора по ИТ
Группа страховых компаний Югория  —  Руководитель Управления цифровых сервисов и электронных продаж
СК СМП-Страхование  —  Заместитель Генерального директора - Директор по цифровым технологиям и развитию удаленных каналов продаж
ММЗ «Вперёд  —  Заместитель начальника по развитию ИТ
Интеграл КТ  —  Генеральный директор
Интеграл КТ  —  Руководитель проектов BI
Сыктывкар Тиссью Груп  —  Директор по цифровизации
Почта России  —  Руководитель проектов
СО ЕЭС  —  Ведущий эксперт
Unilever Rus  —  Младший ИТ бизнес-партнер
ABI Product  —  Аналитик EDI
Ситибанк  —  Digital manager
ABI Product  —  Аналитик EDI
Mediascope  —  Руководитель сектора ИТ
Новолипецкий металлургический комбинат, НЛМК  —  Архитектор
Северсталь-инфоком  —  Архитектор
Альфа-банк Россия  —  Вице-президент по продажам е-сом
Unilever  —  cd excellence manager
Pepsico  —  IT BRM
Атон Инвестиционная компания  —  Руководитель блока инфраструктуры
Kerama Marazzi  —  Заместитель ИТ директора
PepsiCo  —  Data & Analytics
Эра АЭС  —  CDO
Ренессанс Кредит  —  Вед.Менеджер
SMART ENGINEERS  —  Директор департамента цифрового развития
Вайлант Груп Рус  —  Руководитель группы управления проектами
Unilever  —  Менеджер по аналитике
Компания ЭГО Транслейтинг  —  Вице-президент по технологическому развитию
PepsiCo  —  Руководитель группы поддержки
ТД Столото  —  Руководитель Управления данными
Тройка РЭД  —  Директор по маркетингу
Тройка РЭД  —  Коммерческий директор
НЛМК  —  Архитектор
Кредит Европа Банк  —  CRO
Россельхозбанк  —  Исполнительный директор
Юнилевер Русь  —  Директор отдела развития продаж
Агентство инноваций Москвы  —  Начальник отдела
Компания ЭГО Транслейтинг  —  R&D директор
Компания ЭГО Транслейтинг  —  Менеджер отраслевой группы
Транснефть-Технологии  —  Начальник отдела
Почта России  —  Руководитель департамента
Почта России  —  Руководитель службы интеграции
Почта России  —  Аналитик
ПРОТЕК  —  Начальник отдела
Mary Kay  —  Бизнес-аналитик
Организация Агат (Роскосмос)  —  Системный аналитик
РЭЙЛ КОММЕРС  —  Управляющий директор
Агенство промышленного развития города Москвы  —  Заместитель начальника отдела
СВЕЗА-ЛЕС  —  Digital manager
УК КЭАЗ  —  ИТ Директор
Coca-Cola HBC Россия  —  Руководитель электронного документооборота
Мегаполис ГК  —  Руководитель BI
ЮниКредит Банк  —  Главный архитектор
Московская биржа (ММВБ-РТС)  —  Архитектор
ИК АСЭ  —  Главный специалист
Pfizer  —  Специалист по бизнес анализу
ЮниКредит  —  Руководитель направления
Фирма Агрокомплекс им. Н.И.Ткачева  —  Руководитель Управления ИТ Розничной торговли, дистрибуции и логистики
Pfizer  —  Специалист по бизнес анализу
НМС  —  ИТ-директор
РСХБ-ИНТЕХ  —  Архитектор приложений
РТ-Техприемка  —  Руководитель проектов
Загорский трубный завод  —  Начальник отдела внедрения ИС
МФК Техэнерго  —  Директор по логистике
АТОН  —  Руководитель по развитию информационных систем
Федеральное казначейство Министерства финансов РФ  —  Начальник отдела
ЧТПЗ-Центр информационных технологий  —  Директор
ТехЭнерго  —  Директор по логистике
Телеконтакт  —  Директор ИТ департамента
Antal Russia  —  Data Analyst
Вымпелком  —  Руководитель департамента
Ашан Россия  —  Руководитель проектов операционной эффективности
Почта России  —  Руководитель департамента сервисной архитектуры
Трансмашхолдинг  —  Начальник отдела математического моделирования
БИГ  —  Директор департамента ИТ
Domodedovo Integration  —  Стратег IT
Деньги сразу (Скорфинанс)  —  IT APAC
IDS Borjomi Russia  —  Руководитель направления развития бизнес-приложений
Аэроклуб ИТ  —  Менеджер по развитию бизнеса продуктов отчетности и BI
Арвато РУС  —  Руководитель отдела технической поддержки ИТ
Unilever  —  IT аналитик
Unilever  —  IT аналитик
Новартис Фарма  —  SFE manager
Essilor  —  IT Project Manager
585 Голд Ювелирная сеть  —  Директор департамента систем отчетности и аналитики
Открытие холдинг  —  Руководитель направления
Т2 РТК Холдинг  —  Старший менеджер данных
ММЗ «Вперед»  —  Заместитель начальника ИТ по развитию
Tele2 Russia  —  Big Data & VAS
Атон Инвестиционная компания  —  Руководитель отдела Бизнес-анализа
Teva Pharmaceutical Industries  —  Руководитель проектного офиса
СК Согласие  —  Руководитель направления
FESCO Транспортная группа  —  Начальник управления ценообразования и операционного планирования
УБРиР  —  Главный-эксперт аналитик
ГК Газпром нефть  —  Начальник департамента
Skolkovo Ventures  —  Исполнительный директор
Ителла  —  Ведущий аналитик
Миррико менеджмент  —  Руководитель портфеля ИТ проектов
Т2 РТК Холдинг  —  Product owner Big Data
Балансбайк  —  Генеральный директор
ГЛОНАСС  —  Аналитик департамента инновационного развития
ГК Кортрос  —  Head of digital
Ингосстрах  —  Директор по ИТ- инновациям
Фирма «Агрокомплекс» им. Н.И. Ткачева  —  Разработчик Qlik Sense
GlaxoSmithKline  —  Program manager
Объединенная металлургическая компания  —  Начальник отдела компетенций BI
Национальный клиринговый центр  —  Руководитель направления
ВТБ Лизинг  —  Начальник отдела
Департамент информационных технологий Москвы  —  Руководитель проектов
ГК Миррико  —  Руководитель проектов
ОМК  —  Начальник отдела
Evercity  —  Head of R&D
РУСНАРБАНК (Русский Народный Банк)  —  Член Правления
Алроса, АК  —  Руководитель центра компетенций SAP
ФГБУ НЦЭСМП Минздрава России Научный центр экспертизы средств медицинского применения  —  Начальник IT отдела
Сплат-Косметика  —  Руководитель отдела аналитики и маркетинговых исследований
Руководитель отдела аналитики и маркетинговых исследований  —  Маркетинг аналитик
Law firm a.t.legal  —  CIO
Россельхозбанк  —  Управляющий директор Департамента корпоративного развития
Атон Инвестиционная компания  —  Ведущий бизнес-аналитик
Атон Инвестиционная компания  —  Ведущий бизнес-аналитик
Юнипро  —  Менеджер проектов
DPD  —  Начальник управления операционной аналитики
Почта России  —  Руководитель направления цифрового маркетинга
Почта России  —  Руководитель проекта продвижения цифровых сервисов
Др.Тайсс Натурварен Рус  —  Директор по ИТ
FESCO Транспортная группа  —  Главный бизнес-аналитик
Счетная Палата РФ  —  Заместитель директора департамента
Сиалавто  —  Руководитель контактного центра
Сиалавто  —  Генеральный директор
Сиалавто  —  Руководитель отдела маркетинга
РЖД Логистика  —  Начальник отдела развития внешних информационных систем
Почта России  —  CRM Lead
Московский Аэропорт Домодедово  —  Дата-инженер
Тогас  —  CIO
Московский аэропорт Домодедово  —  Системный аналитик
Национальная инвестиционная компания  —  Советник Председателя Наблюдательного Совета
Фонд социального страхования Р  —  Начальник Управления
Фонд социального страхования Р  —  Заместитель начальника Управления
Фонд социального страхования Р  —  Заместитель руководителя Департамента
Информационный город (ГБУ Инфогород)  —  Руководитель проектов
FESCO Транспортная группа  —  Руководитель направления ценообразования и операционного планирования
FESCO Транспортная группа  —  Начальник отдела клиентского маркетинга и коммуникаций
Селдон ПРО  —  Руководитель направления "Автоматизация и развитие"
OMD OM Group  —  Руководитель отдела исследований
Юнипро  —  Заместитель начальника управления контролингом
Дом.РФ АКБ  —  Руководитель ЦК ЕХД
ДОМ.РФ  —  Руководитель центра компетенций КХД
Норникель - Общий центр обслуживания  —  Консульиант SAP BI
Дом.РФ АКБ  —  Руководитель направления
Почта России  —  Ведущий специалист
Росбанк АКБ  —  Project manager
Росбанк АКБ  —  Начальник управления
Росбанк АКБ  —  Начальник управления
FESCO Транспортная группа  —  Вице-президент по информационным технологиям
ДОМ РФ  —  Архитектор
ДОМ.РФ Агентство по ипотечному жилищному кредитованию (АИЖК)  —  Руководитель проектов
ИТСК  —  Руководитель направления
Гринатом  —  Директор по развитию
ДОМ.РФ  —  Руководитель подразделения разработки и системной архитектуры
GSK  —  Head of Tech
ФармФирма Сотекс  —  Начальник аналитического отдела
Ударно-волновые технологии  —  Технический директор
Ударно-волновые технологии  —  Директор по развитию
ДОМ.РФ  —  Руководитель IT-подразделения
Seldon  —  Управляющий директор
ВымпелКом  —  Начальник отдела развития и поддержки систем BI и отчетности
ВымпелКом  —  Эксперт
Mary Kay  —  Старший Руководитель BI в Европе
Coleman Services  —  Заместитель руководителя департамента маркетинга
ГВЦ ОАО РЖД  —  Руководитель группы
Московский метрополитен  —  Главный аналитик
ГМК «Норильский никель»  —  Руководитель проектов
Росбанк  —  Архитектор
UniCredit Bank  —  Руководитель проектов
Сервье  —  Менеджер по ИТ сервисам
Вилэнд  —  Технический директор
Норильский никель  —  Начальник управления по развитию ИТ-инфраструктуры
Внешторгбанк  —  Начальник ИТ Отдела
Центральная станция связи  —  Заместитель начальника отдела ИТ
ЮниКредит  —  Руководитель направления BI
Внешторгбанк  —  Заместитель начальника управления
Внешторгбанк  —  Главный инженер
Внешторгбанк  —  IT специалист
Зетта страхование  —  Архитектор
СТНГ  —  ИТ-Архитектор
Леруа Мерлен  —  Администратор проектов
Кроу Русаудит  —  Руководитель проектов
GroupM  —  Бизнес-партнер
ГКУ ТО Центр информационных технологий Тюменской области  —  Начальник отдела
МедиаКом  —  Бизнес -партнёр
Объединенная металлургическая компания  —  ИТ архитектор
ГКУ Агентство по закупкам (контрактная служба) ДЗМ  —  Начальник отдела
МГК Световые Технологии  —  Директор департамента экономики
Банк ВТБ  —  Начальник отдела импортозамещения
Белуга Групп  —  Руководитель группы разработки отчётности
ДОМ.РФ  —  Заместитель руководителя Аналитического центра
Браас - ДСК 1  —  ИТ менеджер
ЮниКредит  —  Аналитик-разработчик BI
ФГБУ ЦЕНТР АГРОАНАЛИТИКИ  —  Генеральный директор
PepsiCo Russia  —  Project manager
Центр социальных и стратегических программ  —  Генеральный директор
X5 Retail Group  —  Начальник отдела
 — 
ФГБУ НИИ Восход  —  Главный информационный архитектор