Проект

"Мегафон" раскрыл причины крупнейшего сбоя в своей истории

Заказчики: МегаФон

Москва; Телекоммуникация и связь

Продукт: HPE OpenView
Второй продукт: HP CloudSystem
Третий продукт: HP Storage Essentials

Дата проекта: 2005/01  - 2017/05
Технология: ITSM - Системы управления IT-службой
подрядчики - 139
проекты - 761
системы - 353
вендоры - 177
Технология: OSS/BSS
подрядчики - 57
проекты - 246
системы - 99
вендоры - 71
Технология: Cloud Computing
подрядчики - 74
проекты - 168
системы - 349
вендоры - 139
Технология: СХД
подрядчики - 135
проекты - 338
системы - 460
вендоры - 141
Технология: Системы управления производительностью сетевых приложений
подрядчики - 24
проекты - 38
системы - 80
вендоры - 56

2017: Крупнейший сбой в истории "Мегафона"

19 мая в Москве и ряде других городов России произошел крупный сбой в работе сети сотового оператора «Мегафон». Абоненты потеряли возможность совершать голосовые звонки, при этом осталась доступна передача данных, поэтому специалисты оператора рекомендовали своим клиентам звонить через мессенджеры.

"Мегафон" не мог оказывать голосовые услуги связи на протяжении большей части дня 19 мая 2017 года
« Сейчас в Москве и нескольких других городах наблюдаются временные сложности с голосовой связью. Снижение успешности дозвона - 30%. Технические специалисты "МегаФона" проводят восстановительные работы и планируют закончить их в ближайшее время. Обращаем ваше внимание, что мобильный интернет продолжает работать в обычном режиме, и вы можете совершать звонки через мессенджеры, - сообщала пресс-служба оператора днем 19 мая »

Позднее в некоторых СМИ появились предположения о возможной связи технического сбоя с вирусной атакой Wanacry, а также с тестированием оборудования для реализации "пакета Яровой". Однако представители оператора отвергли эти версии, сообщив, что сбой произошел на одном из элементов сетевого оборудования и специалисты компании уже занимаются устранением последствий.

Около 21 часа по московскому времени пресс-служба «Мегафона» распространила видео, в котором Петр Лидов, директор по связям с общественностью «Мегафона», сообщил, что случившийся сбой стал для оператора «наверное, самой крупной аварией в истории».

По его словам, проблема возникла в программном обеспечении, установленном в системе обработки данных. Сбой привел к тому, что возникала постоянная пиковая нагрузка на систему, в результате чего она не выдерживала.

Он также сообщил, что разработчики этого софта и оборудования – компания HP – занимаются созданием системного решения. В свою очередь, инженеры «Мегафона» занимаются перераспределением нагрузки с неработающих систем на работающие.

Чуть позже пресс-служба оператора добавила, что произошел сбой в программном обеспечении - базе данных производства компании Hewlett-Packard - на основном и резервном узлах, обслуживающих ряд субъектов Федерации. Техническую поддержку также осуществляет Hewlett-Packard.

« Hewlett-Packard в ближайшее время планирует установить обновление программного обеспечения, - сообщили в «Мегафоне» »

К моменту публикации материала (21.00 по Москве 19.05.17) связь была восстановлена в Самаре, Казани, Саратове. Успешность голосовых вызовов по Москве и области составляла 93%.

ПО и оборудование HP широко используется в "Мегафоне" много лет. Об этом читайте в справке ниже.

Компенсация абонентам

Сотовый оператор «Мегафон» намерен компенсировать абонентам неудобства, вызванные многочасовым масштабным сбоем связи 19 мая 2017 г. Об этом сообщил 23 мая в соцсети «ВКонтакте» гендиректор компании Сергей Солдатенков. Компенсация предлагается пользователям с 20 мая, однако раньше для её получения нужно было обращаться в контактный центр оператора. Теперь такой необходимости нет.

По словам Солдатенкова, пострадавшие абоненты могут выбрать один из трёх вариантов компенсации: получить бесплатно 1ГБ трафика и 50 минут голосовой связи, или же получить бесплатно 2 ГБ трафика, или же просмотреть бесплатно один фильм на «Мегафон.ТВ». Право на компенсацию имеют абоненты, у которых во время сбоя исчезла возможность совершать голосовые звонки, получать и отправлять SMS, либо наблюдались проблемы с мобильным интернетом. Эти лица получат SMS с дополнительной информацией о получении компенсации в течение следующей недели.

2013

Внедрение модуля HP PPM Demand Generation для управления коммерческими инициативами

В 2013 году "Мегафон" рассказывал о внедрении модуля HP PPM Demand Generation для управления коммерческими инициативами "Мегафона".

Внедрение HP CloudSystem в Кавказском филиале

Кавказский филиал «Мегафона» для решения новых больших задач, связанных с быстрой разработкой и оперативным внедрением новых услуг, задался целью виртуализировать ИТ-инфраструктуру[1]. Рассмотрев предложения разных вендоров, руководство «Мегафона» пришло к выводу, что решение HP CloudSystem и ПО VMware вполне соответствуют требованиям растущего бизнеса и позволят компании добиться поставленной цели – обеспечить общедоступную облачную среду для поддержки всех внешних услуг, в том числе для автоматизации выставления счетов, одного из ключевых рабочих процессов.

Поскольку компания «МегаФон» работает в разных, удаленных друг от друга городах, необходимо было исключить риски, связанные с возможными задержками в сети. Для этого было внедрено четыре решения HP CloudSystem в четырех разных филиалах. В основе системы HP CloudSystem лежит конвергентная инфраструктура, в том числе ПО Matrix Operating Environment 7.0, работающее на четырех блейд-серверах HP BL460c и 19 HP BL685 с ПО VMware vSphere 5.0, подключенных к системе хранения данных XP12000.

Компания Complete выстроила весь процесс - от предпродажной подготовки до реализации системы CloudSystem. Некоторые навыки работы с HP CloudSystem пользователи получили в учебном центре компании НР в Москве. Обслуживание систем производится на основе трехгодичного договора партнеров, предусматривающего техническую поддержку в режиме 24х7.

Система HP CloudSystem – это интегрированная открытая платформа. Используя ее, поставщики услуг могут управлять услугами в сфере облачных технологий как в частном, так и в государственном секторах. В результате создается полное облачное решение, которое позволяет оперативно поддерживать растущий объем продаж.

2012

Сеть дата-центров, спроектированных HP

До конца 2013 года "Мегафон" обещал построить коммерческие ЦОДы, предназначенные для оказания услуг сторонним заказчикам, в каждом федеральном округе. Помимо существующих на тот момент ЦОДов в Самаре, Екатеринбурге, Новосибирске и Хабаровске, откуда такие услуги уже продавались, оператор планировал построить дата-центры в Подмосковье, Санкт-Петербурге и Ростове. Генпроектировщиком стал Hewlett-Packard.

BPM-платформа HP в дальневосточном филиале

В 2012 году дальневосточный филиал «Мегафон» сообщил о выборе программных решений HP для поддержки своих абонентов в дальневосточном регионе. Для того чтобы поддержать качественное обслуживание своей абонентской базы, оператору было необходимо оптимизировать бизнес-процессы и гарантировать минимум простоев. Компания остановила свой выбор на HP Business Process Monitor (BPM), платформе мониторинга от HP (подробнее).

2011: Внедрение HP Storage Essentials Storage Resource Management в Поволжском филиале

В январе 2011 года компания "Комплит" сообщила о внедрении в Поволжском филиале «Мегафона» комплексного решения для управления ресурсами и инфраструктурой сетей хранения данных.

Сети хранения данных (СХД), или Storage Area Network (SAN), разработаны для объединения ресурсов систем хранения данных и предоставления серверам доступа к этим ресурсам. Обмен данными между системами хранения и серверами осуществляется на уровне блоков и требует высокой надежности и производительности. Во избежание потери данных в SAN вероятность возникновения ошибок передачи или падения производительности должны быть сведена к минимуму, отмечали в "Комплите".

« Чтобы потенциальные угрозы не стали реальными, требовалось автоматизировать управление SAN. Специалисты компании "Комплит", изучив возможные проблемы и потребности Поволжского филиала «Мегафон», предложили для тестирования программный продукт HP Storage Essentials Storage Resource Management, который представляет собой комплексное решение для управления ресурсами и инфраструктурой гетерогенных сетей хранения данных корпоративного масштаба »

Данная система основывается на общепринятых стандартах и протоколах в области сетей хранения данных – SMI-S, CIM, WBEM. Таким образом, она обеспечивает управление сетей хранения данных с компонентами от различных производителей.

Инженеры «Мегафона» совместно со специалистами "Комплита" развернули тестовую среду, которая охватила элементы имеющейся сети хранения данных. Благодаря этому заказчик смог ознакомиться с системой управления в течение двухмесячного тестового периода, по истечении которого специалисты и менеджеры оператора признали внедрение HP Storage Essentials SRM оптимальным вариантом для их компании.

Помимо функциональных возможностей и стандартов, на которых основывается система, они отметили преимущества модульной структуры выбранного решения, ведь структура и гибкая политика лицензирования компании HP позволяет наращивать функционал по мере необходимости.

2009: Возможность централизованного мониторинга физической и виртуальной инфраструктуры

Основными принципами ведения бизнеса «Мегафона» являются максимальное удовлетворение потребностей клиентов и добросовестная конкуренция. Принимая во внимание высокие стандарты качества услуг на рынке телекоммуникаций, компания осознавала необходимость обеспечения эффективной и бесперебойной работы корпоративных ИТ-систем, сообщали в "Мегафоне" в 2009 году.

Решением для создания надежной и эффективной в финансовом плане ИТ-инфраструктуры стала виртуализация[2]. В рамках первого этапа виртуализации компания внедрила несколько серверов VMware ESX 3.5 и консолидировала их в кластере DRS. Аппаратную часть решения составили 4-х процессорные серверы HP ML570 G2 и HP ML570 G3, подключенные к общей системе хранения данных на базе HP MSA2212 fc.

К началу 2009 года в компании эксплуатировалось уже порядка 40 виртуализованных серверов под управлением VirtualCenter, развернутом на физическом сервере HP DL360G4p. «МегаФон» сообщал о том, что активно наращивает долю виртуализованных приложений - по оценкам специалистов компании, запланированный рост виртуализации составляет 10-15 виртуальных машин в квартал, и к началу 2010 года в виртуальную инфраструктуру VMware планировалось перевести до сотни физических серверов. В качестве аппаратной платформы для расширения виртуальной инфраструктуры VMware «МегаФон» планировал использовать блейд-серверы HP.

« На виртуальных машинах работают сервисы отправки технологических SMS-сообщений, web-серверы для обработки абонентских заявок и системы управления технологическим оборудованием. Кроме того, мы перевели в виртуальную инфраструктуру VMware критичные для нас сервисы мониторинга - решение использовать их в VMware было принято в виду высокой отказоустойчивости кластера на основе VMware ESX, - сообщал Иван Иотченко, инженер группы систем управления «Мегафон» »

С внедрением виртуальной инфраструктуры VMware компания «Мегафон» столкнулась с новой проблемой - проблемой централизованного мониторинга ИТ-сервисов. Для отслеживания состояния ИТ-инфраструктуры использовалось решение HP Operations Manager for Unix: на управляемые физические серверы устанавливались агенты, обеспечивающие сбор информации из различных источников.

Однако установка агентов HP на виртуализованные серверы не может предоставить целостной картины работы всех систем виртуальной инфраструктуры, отмечали в "Мегафоне". Недоступными оказываются важнейшие показатели производительности и стабильности, такие как события vCenter, метрики ESX по ожиданию ресурсов виртуальной машины (CPU ready time), перераспределяемой памяти (memory baloon), файла подкачки (memory swap rate) и так далее.

« Внедрение виртуальной инфраструктуры потребовало от нас поиска нового решения для централизованного мониторинга, - говорил Иван Иотченко. - При этом мы хотели использовать уже привычный для нас HP Operations Manager в качестве единой платформы, то есть нам требовался продукт, который смог бы расширить возможности HP Operations Manager и обеспечить полноценный централизованный мониторинг как физических, так и виртуальных серверов »

В марте 2009 года, в рамках проекта, проводимого платиновым партнёром HP - компанией Complete, «МегаФон» остановил свой выбор на nworks Smart Plug-in for VMware (Veeam Software) – корпоративном решении мониторинга, позволяющем отслеживать работу виртуальной инфраструктуры VMware в стандартной консоли HP Operations Manager.

Предоставляя полную интеграцию с HP Operations Manager, решение nworks не требует установки агентов на серверы ESX, что является критически важным для устойчивой работы инфраструктуры.

« Использование агента всегда предполагает дополнительную нагрузку на сервер. В ситуации приложений, критичных для бизнеса, это просто недопустимо, - объяснял Иван Иотченко. - В отличие от альтернативных решений, для получения данных о виртуальной среде nworks Smart Plug-in for VMware использует VI API, тем самым снижая нагрузку на серверы ESX и VirtualCenter »

nworks Smart Plug-in for VMware поставляется с набором готовых политик для слежения за событиями и метриками виртуальной среды VMware и встроенной базой знаний, предоставляющей содержательные информационные сообщения различных приоритетов.

« Группа систем управления просто не может знать всех тонкостей функционирования виртуальной среды, - продолжал Иван Иотченко. - Преднастроенные политики мониторинга и база знаний, входящие в решение nworks, существенно ускорили процесс внедрения и повысили производительность группы контроля. Решение nworks готово к использованию сразу после его установки »

В результате проекта виртуальная среда VMware предоставила компании «Мегафон» ряд серьезных преимуществ – эффективное использование аппаратных ресурсов, снижение затрат на закупку оборудования и его обслуживание, возможность быстрого развертывания серверов, отказоустойчивость ИТ-систем.

Благодаря использованию nworks Smart Plug-in компания «Мегафон» получила возможность консолидировать данные корпоративных ИТ-систем, работающих как на виртуальных, так и на физических серверах, на экране HP Operations Manager.

2007: HP Superdome в уральской "дочке"

В августе 2007 года "МегаФон" и Hewlett-Packard завершили проект по модернизации ИТ-инфраструктуры оператора "Уральский Джи Эс Эм", дочернего предприятия ОАО "МегаФон". Проект включал в себя переход на конвергентное биллинговое решение компании "Петер-Сервис" и обновление текущей аппаратной платформы с учетом возросших требований вычислительной нагрузки.

« Использование технологии HP, позволяющей совмещать процессоры архитектуры PA-RISC и Intel Itanium 2 в одной системе HP Superdome, позволило компании заложить резерв производительности при сохранении инвестиций в текущую информационную систему", - отметили в "МегаФоне" »

2005: Внедрение системы управления HP OpenView

В 2005 году в «МегаФоне» с целью повышения уровня управляемости корпоративной информационной системы компании была внедрена система управления HP OpenView.

Созданием единого центра управления информационной системой одного из крупнейших российских операторов мобильной связи стала компания «Ай-Теко».

Подрядчиком была создана единая платформа управления и мониторинга, которая охватывает все основные аппаратные и программные комплексы, консолидирует всю необходимую информацию о сбоях и проблемах в единой точке и предоставляет удобные средства управления ИТ-инфраструктурой. Решение было реализовано на основе программных продуктов семейства HP OpenView и продукта I-Teco Business Observer — разработанного «Ай-Теко» средства технологического мониторинга автоматизированных информационных систем.

В контур управления были включены основные информационные системы и покрыты все уровни ИТ-инфраструктуры от сетевых устройств до прикладного ПО и технологических процессов. Были развёрнуты подсистемы управления и мониторинга сетевой инфраструктурой на основе HP OpenView Network Node Manager, серверами и приложениями — на основе HP OpenView Operations, производительностью — на основе решений HP OpenView Performance Manager и HP OpenView Reporter. Подсистемы управления качеством ИТ-услуг и мониторинга технологических процессов были построены соответственно на основе программных продуктов HP OpenView Internet Services и I-Teco Business Observer. В контур подсистемы управления серверами и приложениями были включены все основные системы инфраструктуры заказчика. Подсистемой управления качеством ИТ-услуг были охвачены как базовые обслуживающие информационные сервисы — такие как почтовые службы, Интернет-каналы, системные сервисы, а также информационные сервисы верхнего уровня на основе специализированного прикладного программного обеспечения.

Подсистема мониторинга технологических процессов обеспечила мониторинг внутренних процессов биллинговой системы по выполнению технологических операций обслуживания абонентов и взаимодействия биллинговой системы с коммуникационными программно-аппаратными платформами. Эта подсистема предоставила эффективный инструмент для оценки прохождения данных процессов в режиме реального времени и информацию для выбора направлений их оптимизации.

На завершающем этапе проекта все охваченные системой управления и мониторинга информационные сервисы и ресурсы были объединены в единую сервисно-ресурсную модель, которая обеспечила средства быстрого анализа проблем и зависимостей.

Срок реализации проекта составил около девяти месяцев.

Примечания



TAdviser рекомендует

26 мая, Пт.

Бета
Лидеры по внедрениям ИТ в корпоративном секторе

Добавить: