Проект

"Северсталь" организует "озеро данных"

Заказчики: Северсталь

Москва; Металлургическая промышленность

Подрядчики: Lenovo, Microsoft
Продукт: Проекты СХД
Второй продукт: Microsoft Azure
Третий продукт: Apache Kafka

Дата проекта: 2017/05
Технология: СХД
подрядчики - 169
проекты - 426
системы - 574
вендоры - 200
Технология: Центры обработки данных - технологии для ЦОД
подрядчики - 268
проекты - 660
системы - 575
вендоры - 190
Технология: IaaS - Инфраструктура как услуга
подрядчики - 129
проекты - 511
системы - 286
вендоры - 148
Технология: PaaS - Platform As A Service - Бизнес-платформа как сервис
подрядчики - 85
проекты - 217
системы - 179
вендоры - 101
Технология: Интернет вещей Internet of Things (IoT)
подрядчики - 133
проекты - 354
системы - 333
вендоры - 212
Технология: СУБД
подрядчики - 201
проекты - 562
системы - 255
вендоры - 116

2 августа 2017 года ПАО «Северсталь» объявила о создании гибридного хранилища данных (Data Lake). Инфраструктура ориентирована на хранение массива технологических данных, собранных на предприятиях. Они будут обрабатываться и использоваться для реализации проектов компании в сфере аналитики данных, машинного обучения и искусственного интеллекта.

Задачи проекта

Хранилище предполагает гибридную архитектуру - сочетание двух моделей хранения данных – в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe программных продуктов.

«Северсталь» подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2 ПБ в собственном ЦОДе. Кластер будет иметь 30 ТБ оперативной памяти и 1200 ядер процессорной мощности для вычислений.

Подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft, которое поддерживает технологии различных производителей, включая технологии с открытым исходным кодом. Предполагается организация динамически измеряемого хранилища, которое будет использоваться, прежде всего, под проектные задачи, когда определенные мощности требуются на конкретный период времени.

Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит передавать потоковые данные с низкой задержкой и анализировать их в режиме реального времени.

«
Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях – заложит основу для реализации цифровой стратегии «Северстали». А гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно решать весь комплекс задач в области машинного обучения и предиктивной аналитики, стоящих перед нами, а также обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании.

Игорь Бардинцев, директор по развитию цифровых технологий АО «Северсталь Менеджмент»
»

В озере данных «Северстали» предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (Internet of Things), серверов автоматизированной системы управления технологическим процессом, MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как предиктивные ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.

«
Цель каждого диджитал-проекта – довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на Стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных – это перманентный процесс.

Игорь Бардинцев
»