Как заставить работать данные. ИТ-Директору, BI, Data Mining, Россия
 
2017/08/03 13:17:02

Как заставить работать данные?
TADетали

Управленческие решения уже не могут опираться только на опыт и интуицию. Ключевым для руководителя становится вопрос – как грамотно использовать данные для повышения конкурентоспособности? Генеральный директор компании Polymedia Елена Новикова рассказала TAdviser о том, как внедрить информационно-аналитическую систему и получить выгоду из данных.

Содержание

Введение

Мы живем в эпоху непрерывного потребления информации. Количество собранных в различных ИТ-системах данных уже превышает эксабайт в день и увеличивается в геометрической прогрессии. Все большую роль в бизнесе начинают играть новые технологии обработки данных, такие как машинное обучение, обработка естественного языка, анализ социальных сетей, анализ изображений и видео, анализ аудиосигналов, рекомендательные системы, поиск ассоциативных правил и другие.

Согласно прогнозам McKinsey эта новая область ИТ в недалеком будущем станет и новой областью экономики, превосходящей по своей значимости нефтегазовый сектор. С тем отличием, что "сырьем" для переработки здесь будут не нефть и газ, а огромный и быстрорастущий объем мировых данных.

Управленческие решения уже не могут, и не будут опираться только на опыт и интуицию. Ключевым для руководителя становится вопрос – как грамотно использовать данные для повышения конкурентоспособности? Как, анализируя данные, повысить эффективность производства? Можно ли с помощью прогнозной аналитики оценить риски принимаемых решений?

В зависимости от типа деятельности и сферы работы организации она может обладать различным объёмом постоянно пополняемых данных. Если объём или скорость обновления данных превышает возможности стандартных технологий, таких как реляционные базы данных, то можно говорить о работе с большими данными, которые требуют новых подходов к их обработке и хранению. Однако, работа с такими данными позволяет строить сложные предиктивные математические модели и выявлять скрытые закономерности, которые невозможно определить другими методами.

Например, мы хотим оптимизировать процесс производства синтетических материалов или выплавки стали. На эти процессы оказывают отложенное влияние множество различных параметров: температура, давление, концентрация исходных веществ, и вклад каждого из факторов практически невозможно рассчитать теоретически. В этом случае сбор данных в процессе производства и построение моделей машинного обучения помогает не выделять вручную влияние каждого фактора, а сразу делать «подсказчик» для оператора, позволяющий оптимизировать условия процесса для получения продукта с оптимальными свойствами.

Анализ больших данных в других областях, например в ритейле, позволяет моделировать поведение покупателей и, например, определять набор наиболее продаваемых продуктов в зависимости от типа потребителя, времени, сезона. Например, аналитическая система, используя накопленные массивы данных обо всех продажах торговой сети, а также используя данные веб-аналитики (в т.ч. автоматизированный анализ цен конкурентов) может осуществлять динамическое ценообразование на популярные категории продуктов.

Как внедрить ИАС?

Проекты по внедрению технологий анализа и моделирования больших данных на сегодняшний день являются во многом исследовательскими и требуют выделения первого подготовительного этапа на анализ исходных данных, их очистку и разработку предварительных моделей. Исследовательский этап обычно завершается производственным экспериментом, по итогам которого может быть принято обоснованное решение о запуске (или не запуске) проекта внедрения модели в промышленную эксплуатацию. Начиная такой проект, необходимо четко формулировать бизнес-цели, а также закладывать время и финансирование на риски в неточности модели. Также нужно сразу определиться с планом поддержки модели в будущем. Команда, внедряющая проект, должна включать в себя квалифицированных математиков исследователей (Data Scientist).

Для повышения эффективности управленческой деятельности обычно не требуется работа с большими данными – в каждой организации существуют данные о платежах, доходах, расходах, дебиторской задолженности. Есть данные о затратах, например, как часто сотрудники летают в командировки, какие авиакомпании используют, по каким маршрутам летают, есть данные об основных средствах, и о том, как работают инфраструктурные решения: сети, сервера, мультимедиа оборудование. Очень важными являются маркетинговые данные: заказчики, регионы продаж, цены, типы продуктов. Однако эти данные, во многих случаях, хранятся в различных учетных системах: финансовые данные – в системе бухгалтерского и управленческого учета, кадровые данные – в системе кадрового учета, маркетинговые данные о заказчиках - в CRM-системе или просто в таблицах Excel, данные о ремонтах оборудования - в сервисной системе и так далее.

Для того чтобы агрегировать эту информацию и получить реальную картину бизнеса нужно иметь доступ к любому блоку данных, нужно иметь возможность их поставлять и анализировать, и подтягивать ту информацию, которая необходима руководителю или топ-менеджеру для решения конкретной задачи. Для этих целей необходимо внедрение информационно-аналитической системы (ИАС). Такая система, как правило, разрабатывается на основе промышленной аналитической (BI) платформы, которая уже включает в себя технологии быстрой In-memory обработки данных и средства настройки и разработки интерактивных отчетов (дэшбордов) без программирования. Несмотря на то, что в серьезном проекте внедрения ИАС не обойтись полностью без написания кода, использование платформы позволяет значительно снизить затраты и риски внедрения, а также обеспечить возможность легкой дальнейшей поддержки и развития.

Но все не так просто, ведь работая с данными, их владельцы: финансисты, управленцы, маркетологи не думали, что они создают ценнейший актив, они просто использовали информацию для текущих целей. В результате данные всегда получаются не полными, с пробелами, не всегда корректными. В разных информационных системах одни и те же сущности названы по-разному. Например, в финансовой и CRM-системе одна и та же организация носит разные названия, в прайс листе производителя и в прайсе листе для заказчика та же картина и так далее. Поэтому на первом этапе внедрения ИАС требуется очистить и верифицировать данные. Это один из самых трудоемких процессов внедрения ИАС, сначала проводится обследование, выявляются источники данных, определяется их целостность, одни типы данных соотносятся с другими типами данных именно для того, чтобы исключить возможность разного толкования и названия одних и тех же сущностей. В результате обследования определяются области управленческого или основного процесса организации, где есть релевантные данные и где накоплен исторический архив, который можно анализировать. Процессы получения данных из исходных систем и приведения их к единой многомерной модели называются ETL (Extract-Transform-Load). Разработка таких процессов – сложный процесс, требующий от специалиста не только навыков разработчика, но и достаточного понимания целей и задач бизнеса.

Второй этап – работа с очищенными данными, внесенными в хранилище (ХД), формирование запросов и построение отчетов. ИАС предполагает несколько уровней использования: ею могут пользоваться аналитики, руководители подразделений, топ-менеджеры индивидуально или информация из ИАС может быть представлена на экранах для коллективных совещаний. В разных случаях информация и способ ее представления будет разный. Аналитик может сам работать с данными и строить те отчеты, которые нужны ему или руководителям. Для хорошей современной аналитической платформы необходимо наличие функциональности Self-Service BI, которая позволяет бизнес-пользователям самостоятельно исследовать данные и строить отчеты без привлечения ИТ-специалистов.

Для работы топ-менеджера или для коллективного совещания необходимо представить набор диаграмм, графиков, таблиц, отвечающий на ключевые вопросы бизнеса – дэшборд. При этом современные дисплеи, имеющие высокое разрешение позволяют разместить на экране 4-6 различных виджетов (диаграммы, графики, таблицы и т.п), представляющих проблему с разных сторон и позволяющих повысить не только эффективность, но и скорость принятия управленческих решений.

Рассказывая про эффективную работу с данными, нельзя не упомянуть, что бóльшая часть информации воспринимается человеком визуально. По данным различных исследователей, а также специалистов AV индустрии, около 90% данных воспринимается через визуальный канал и лишь оставшиеся 10% через остальные органы чувств. Поэтому грамотно спроектированные дэшборды экономят время руководителя на восприятие информации и повышают эффективность принимаемых решений.

Третий этап – интеллектуальный анализ данных, он выявляет скрытые закономерности, предоставляет качественно новую информацию. Если в организации достаточно качественных исторических данных, то можно не только представить текущую ситуацию, но и смоделировать, что будет в случае изменения каких-либо параметров, например, изменения продуктовой линейки, цены, курсов валют, вложения дополнительных инвестиций. Для этого нужно построить соответствующую предиктивную математическую модель. При внедрении ИАС модели могут быть разработаны и встроены в систему или нужно будет только менять соответствующий параметр. Во втором варианте аналитики компании сами строят модели используя инструментарий ИАС.

Примеры дэшбордов Visiology

Что компания получает от внедрения ИАС?

Конечно, информационную систему стоит внедрять только на определенном уровне зрелости организации. Если компания не очень большая или даже средняя – аналитик может справиться с текущими задачами и в ручном режиме. Однако, возникает риск – то что он делает, нигде не зафиксировано и не описано. Таким образом, если аналитик ушел из компании, и пришел новый, отчеты могут сильно различаться, потому что он берет новые переменные или смотрит на проблему под своим углом, и даже если выводы совпадают – руководитель начинает получать совсем другие формы отчетов и тратит время на то, чтобы к ним привыкнуть.

Есть и другое популярное заблуждение: внедрив ИАС, мы сможем сэкономить, уволив аналитиков. Нет, такой экономии не будет. Эффект будет за счет того, что у руководства будут точные, проверяемые и воспроизводимые данные.

Какова стоимость и длительность проекта?

Есть ли прямая зависимость между стоимостью аналитической платформы, на которой строится ИАС и ее качеством? От аналитической платформы зависит многое, в том числе удобство дальнейшей поддержки и гибкость развития ИАС. Однако, не менее важны профессиональные компетенции людей, осуществляющих внедрение. Лучше ИАС, сделанная профессионалом на Excel, чем плохо внедренная система SAP HANA. Особенно важно глубокое взаимодействие компании интегратора и разработчика в крупных проектах, где уровень доработок поверх платформы очень серьезный и сложный.

Кто должен работать над проектом внедрения ИАС?

Обычно это команда, состоящая из экспертов, консультантов и специалистов компании, внедряющей информационную систему, и ИТ специалистов компании-заказчика. Однако, очень важно, что не только ИТ специалисты вашей компании участвуют в таком проекте. Принимать решения нужно руководителям и работать с дэшбордами придется руководителям, поэтому система должна быть ориентирована на топ-менеджеров. Обязательно нужно зарезервировать их время для участия в работе и получения оценки удобства пользования и правильности выбираемых параметров. Если руководители не могут выделить достаточное количество своих ресурсов, то вероятность успешного внедрения падает почти до нуля, так как никакая аналитика не может существовать без детального понимания потребностей бизнеса.

Заключение

Однако, не важно, что вы знаете, важно, что вы делаете с тем, что знаете. ИАС помогает трансформировать цифры в действия — построить прогнозы, скорректировать стратегии, предпринять шаги, приводящие к значимым результатам.

Говорят, в Америке во времена Дикого Запада была популярна фраза: «Существует два типа людей: быстрые и мертвые». Сегодня можно сказать так: «Существует два типа организаций: быстрые и умирающие». Первые принимают и адаптируют информационные технологии, вторые цепляются за то, что когда-то приносило результат.

Сбор, хранение и получение выгоды из данных — одна из точек прорыва. С помощью информационно-аналитической системы из данных можно отжать хороший сок. Осталось вникнуть в суть происходящего и начать формировать будущее, в котором можно будет занять достойное место.

87