Илья Плещинский, «Платформа Эра»: Наш продукт для корпоративной телефонии идет на смену решениям западных брендов

Илья Плещинский: Есть два классических подхода к обеспечению надежности железа и софта. Первый — создание супермощного экземпляра, который не упадет никогда. Второй — совместная работа нескольких экземпляров, падение одного из которых не оказывает влияния на работу системы в целом. Говорят, что первую модель в свое время применяла компания IBM, вторую — Google. Мы рассматриваем такого рода вопросы через призму реализма, закона Мерфи и аппарата математической статистики. Даже вкладывая бесконечные ресурсы в построение одного узла, обеспечить его абсолютную надежность невозможно.

Поэтому в основе нашей платформы — микросервисная архитектура. Мы реализовали собственную систему оркестрации, которая распределяет микросервисы по серверам кластера в соответствии с текущими условиями в рамках заданных правил. В зависимости от нагрузки и модели целостности данных, наши микросервисы резервируются в одном из двух режимов: active-active или active-passive. В первом случае кроме надежности мы получаем и горизонтальное масштабирование. Например, по этой модели работают медиа-шлюзы, голосовые сценарии, системы маршрутизации и другие высоконагруженные сервисы.

Если говорить о телефонии, то здесь требования к производительности и надежности существенно выше, чем в других каналах коммуникаций и, тем более, в информационных системах. Ведь любой программный или аппаратный сбой, как правило, приводит к обрыву разговора и потенциальной потере клиента. Мы научились строить такие системы, что даже физическое отключение любого сервера остается незаметным для пользователей — разговоры продолжаются, запись ведется, отчеты сохраняются. Поэтому, когда нас спрашивают, сколько девяток в нашей метрике доступности, мы смело транслируем уровень доступности дата-центра и готовы говорить о любом количестве девяток: например, 99,999999%.

Илья Плещинский: Термины аптайм и перезагрузка, как правило, относятся к односерверным решениям или конкретным устройствам. Если развернуть Эру в односерверном варианте, наш аптайм будет близок к аптайму операционной системы. В нашем случае это ОС семейства Linux, поэтому исчисляется он годами и десятилетиями. Язык Erlang и платформа OTP, лежащие в основе платформы, имеют максимальные показатели в этой части — порядка 15 лет без перезапусков. Большее, вероятно, и не имеет смысла ввиду устаревания оборудования, изменения технологий и требований.

Как только мы переходим к кластеру, то есть многосерверной конфигурации, перезагрузка и даже отключение части серверов являются вполне штатными процессами обслуживания и оказывают минимальное, если не нулевое влияние на работу системы. У нас есть средства по плавному выведению серверов из обслуживания, которые позволяют комфортно проводить профилактическое обслуживание серверов.

Если говорить о реальных примерах на базе реализованных нами проектов, то мы видели непрерывную работу системы и два, и три года. Профилактические работы с железом, сетями и электропитанием, которые периодически происходят как в дата-центрах, так и на собственных серверах клиентов, пока не позволяют достичь на практике более высоких показателей.

Илья Плещинский: При проектировании платформы нами изначально заложена многодоменность. Домен — это изолированное пространство данных и процессов. При этом сотни и тысячи доменов могут обслуживаться на одной инфраструктуре (и даже на одном сервере). Домены формируют доменное дерево любой структуры, сложности и глубины. В зависимости от задач конкретного проекта, можно выделить несколько типовых примеров использования доменов:

• однодоменная система: все пользователи работают в едином пространстве;
• выделены служебные домены для тестирования и разработки: работа инженеров по развитию системы и разработке новых сервисов не оказывает влияния на основные процессы, так как выполняется в изолированных доменах, не требуя при этом отдельных серверных мощностей и отдельных экземпляров системы;
• разветвленная оргструктура предприятия с выделенными администраторами филиалов: при этом мы поддерживаем очень гибкое распределение прав доступа — администраторы подразделений друг с другом не пересекаются, а администраторам предприятий может быть обеспечен полный доступ к системе;
• оказание облачных услуг: для каждого клиента создается отдельный домен (или целая ветка доменного дерева), при этом пересечение между ними практически сведено к нулю (кроме, очевидно, инфраструктуры — сотни и тысячи изолированных решений обслуживаются на одном и том же кластере серверов).

Таким образом, количество и структура доменов — это целое измерение, которое открывает широчайшие горизонты на этапе проектирования системы.

Илья Плещинский: В таких случаях мы обеспечиваем не только отказоустойчивость, но и катастрофоустойчивость, то есть, готовность системы к недоступности целых дата-центров и межрегиональных каналов связи. При этом важнейшим этапом работы становится проектирование такой системы. Несмотря на его сложность, мы пришли к достаточно простому итерационному алгоритму, который заключается в следующем. – Предположим, что вся система развернута на одном сервере. С какими проблемами столкнемся?
– Большое количество одновременных звонков.
– Хорошо, увеличиваем количество медиа-шлюзов. Что еще?
– Нужно сохранять разговоры при недоступности одного из серверов.
– Хорошо, разделяем сигнализацию и медиа. Что еще?
– Нужно резервирование в двух дата-центрах.
– Хорошо, разворачиваем две идентичные копии в режиме master-slave. Что еще?
– Нужна независимая работа филиалов на случай обрыва каналов связи между ними.
– Хорошо, подключаем региональных провайдеров к дата-центрам ближайших городов.

И так далее.

У нас есть пара десятков примеров со схемами, как можно развернуть систему на нескольких серверах. Выбор того или иного подхода определяется в первую очередь набором рисков, которые требуется предотвратить либо принять. Со своей стороны, мы позволяем реализовать достаточно сложные схемы с применением разнообразных подходов взаимодействия узлов — от простых пингов до подключения сторонних арбитров и вычисления кворумов.

Илья Плещинский: Сам термин open source, к сожалению, воспринимается по-разному и это вносит определенную смуту. По определению, это «открытый исходный код». Часто рядом с этим кодом лежит лицензия, определяющая правила использования кода. Так сложилось, что многие воспринимают open source как что-то бесплатное и не всегда качественное. При этом целые операционные системы, системы управления базами данных, огромное количество средств разработки, модулей и компонентов на текущий момент доступны по свободным лицензиям с открытым исходным кодом. Вряд ли на сегодняшний день какой-либо разработчик корпоративного программного обеспечения возьмется за создание собственных ОС, СУБД, протоколов, кодеков и так далее — эти модули и компоненты уже давно написаны, хорошо себя зарекомендовали и используются практически повсеместно.

В телефонии, говоря про open source, часто подразумевают готовые продукты Asterisk и FreeSwitch — это программные АТС с открытым кодом, доступные по свободным лицензиям. Аналогично Jitsi — известный сервис видеоконференцсвязи. Продукты достаточно интересные, хотя и дают нам поводы для критики. Одним компаниям этих продуктов вполне достаточно для решения своих задач, другие на их основе создают более функциональные системы. Мы даже в свое время слышали, что Asterisk был обнаружен внутри серверов телефонии достаточно известного разработчика коммуникационных платформ.

В своих продуктах мы используем достаточно много модулей и компонентов с открытым кодом, доступных по свободным лицензиям. Большинство этих модулей (не считая ОС и СУБД) выполняют для нас сервисные функции: веб-серверы, кодеки аудио и видео, протоколы работы с электронной почтой, брокеры сообщений и так далее. Все компоненты, реализующие критические процессы: программный коммутатор, медиа-шлюзы, движок сценариев, генератор объектных моделей, оркестратор и многие другие мы разработали самостоятельно. Более того, в используемые нами сторонние компоненты мы часто вносим изменения, исправления и доработки. Таким образом, мы обеспечиваем всеобъемлющую поддержку системы, независимо от используемых в ее составе компонентов.

В некоторых проектах, как правило достаточно масштабных, для сокращения рисков заказчикам требуется доступ к исходному коду платформы. К этому мы готовы, и по нескольким контрактам уже предоставили необходимые материалы. Отметим, что это не подразумевает неограниченных прав на использование продукта: открытие исходного кода не влечет за собой передачу безлимитной лицензии.

Илья Плещинский: Предыдущее поколение наших продуктов — это односерверные колл-центры под управлением ОС Windows с классическим толстым клиентом. Эра — это многосерверная информационно-коммуникационная платформа под ОС Linux с тонким web-клиентом. Это не только колл-центр, но и распределенная программная АТС, и конструктор информационных систем, и система видеоконференцсвязи.

Конечно же, большинство лучших практик из старых продуктов, также как и наш многолетний опыт применены в новом продукте. При этом ни одна строчка кода в явном виде не используется — в том числе и по причине полного обновления технологического стека. Раньше мы в основном использовали C#, сейчас основные технологии разработки — Erlang и TypeScript.

Таким образом, известные нам ограничения остались в далеком прошлом, а уровень функциональной и нефункциональной гибкости платформы Эра открывает для нас и наших клиентов очень интересные перспективы.

Илья Плещинский: Можно. Сразу после развертывания системы доступно несколько сотен отчетов по коммуникациям и работе контактного центра. Это и хронологические отчеты, и онлайн-мониторинг, и сводные дашборды, и базовая аналитическая информация. Конструктор Low-code позволяет на их основе разрабатывать проектные отчеты, а через API можно обращаться к исходным данным из сторонних систем.

Мы поддерживаем брокер сообщений Kafka, ставший отраслевым стандартом при подключении BI-систем. Любую информацию (сырые события и обработанные данные) можно выгружать во внешние хранилища для последующей обработки как сторонними средствами, так и в рамках платформы (например, через подключение к колоночной СУБД ClickHouse).

Также отметим, что из коробки доступен модуль ETL, который обеспечивает обмен данными между различными системами. Наиболее наглядные примеры его применения:

• формирование единых отчетов между несколькими доменами или инсталляциями;
• загрузка сторонней статистической информации о звонках для оптимизации графиков работы операторов в рамках WFM;
• обмен заявками технической поддержки между клиентами, интеграторами и вендором.

Илья Плещинский: При внедрениях наших продуктов предыдущих поколений мы получали много вопросов по интеграции со сторонними продуктами, в том числе CRM, так как наши модули интеграции были ограничены по функциональности.

Платформа Эра имеет открытое всеобъемлющее REST API, доступное как по HTTP, так и по WebSocket. Его же используют все наши приложения при взаимодействии с нашим веб-сервером. Поэтому абсолютно вся функциональность приложений доступна сторонним системам через API.

У нас в коробке есть sandbox — песочница для интеграционных экспериментов. Там доступны два режима — подключение к Эре от имени конкретного пользователя (First party) и от имени третьего лица (например, сервера внешней системы, Third party). В первом случае доступно управление звонками, статусами, доступ к архиву разговоров и так далее для одного пользователя, во втором — сразу для всех. Благодаря нашей модели реалтайм-подписок, вся информация обновляется в режиме реального времени, без периодических опросов сервера или нажатия на кнопку Обновить. Если в рамках внедрения разработаны проектные пакеты, их объектная модель также доступна через API, включая чтение, запись и подписки.

По мере реализации проектов мы совместно с нашими партнерами будем разрабатывать коннекторы к наиболее популярным информационным системам, которые можно будет подключать в несколько кликов.

Илья Плещинский: Да, такие средства у нас есть. В одном из первых проектов мы решали задачу плавной замены территориально распределенного зоопарка разнородного телекоммуникационного оборудования. Там было все: цифровые и аналоговые станции, VoIP-шлюзы, маленькие астериски и т.д., общее количество пользователей — порядка двадцати тысяч.

Очевидно, что решить такую задачу одномоментно практически невозможно, поэтому заказчик сразу обозначил плановый срок миграции — около одного года. Наша платформа была развернута в нескольких городах, а для обеспечения требований по отказоустойчивости производитель IP-телефонов изготовил специальную прошивку с увеличенным количеством резервных прокси-серверов.

Благодаря гибкости двухуровневых таблиц маршрутизации, система была настроена таким образом, что вывод из обслуживания очередной старой станции не требовал внесения каких-либо изменений в настройки, а пользователи продолжали работать в привычном номерном плане.

По итогам проекта заказчику удалось на порядок сократить нагрузку на подразделение системного администрирования телефонии. Процесс миграции можно выстроить максимально плавно и комфортно, в том числе и в части лицензионных платежей.

Илья Плещинский: Вообще говоря, мы работаем с любым оборудованием по протоколу SIP/2.0 и поддерживаем все виды транспорта — UDP, TCP, TLS, WSS. Базовые функции по приему и совершению звонков, как правило, работают сразу после регистрации телефонов. Мы из коробки поддерживаем auto provision, что позволяет существенно сократить затраты на настройку аппаратов — достаточно прописать или импортировать MAC-адреса устройств, и они при первом включении скачают свежую прошивку и применят необходимые настройки.

Мы часто рекомендуем IP-телефоны Yealink. Это очень широкая линейка устройств как для сотрудников, так и для руководителей. Качество и надежность более десяти лет остаются на очень высоком уровне, цена разумная, а функциональность шире, чем у большинства аналогов.

Также мы можем работать с аппаратами Cisco и Avaya, если они допускают прошивку на протокол SIP. Если в процессе тестирования конкретной модели выявляется нештатное поведение, мы устраняем его в рамках внедрения, даже если это требует отклонений от RFC (стандартов, которые не все производители оборудования соблюдают в полном объеме). В нашей практике были примеры, когда после нескольких месяцев ожидания исправления ошибки силами производителя шлюза, мы за несколько часов предоставляли патч с обходным решением. При этом установка таких патчей в большинстве случаев происходит на лету без перезапусков и обрыва звонков.

Илья Плещинский: У нас есть таблица, сформированная по результатам нагрузочного тестирования на нескольких линейках серверов. Грубо говоря, один 6-ядерный сервер может обеспечить работу до 500 пользователей, до 5000 телефонов, до 250 одновременных разговоров с записью и до 10 звонков в секунду. Конечно, это пиковые значения, и в зависимости от ряда реальных условий они могут изменяться.

Судя по информации из открытых источников, наш медиа-шлюз примерно в два раза производительнее, чем у общепризнанных лидеров рынка. Мы можем обеспечить сотни одновременных разговоров и работающих пользователей, развернув платформу на одном ноутбуке.

Если говорить про видеоконференцсвязь, которая считается весьма требовательной к ресурсам, то мы работаем по модели SFU. Это означает, что сервер не выполняет транскодинг видеопотоков в реальном времени, а только оптимальным образом перенаправляет траффик между участниками комнат. Поэтому даже при сотнях участников ограничения сетей передачи данных становятся более актуальными, чем нехватка процессорного времени.

За счет кластеризации и горизонтального масштабирования мы можем распределять нагрузку между несколькими серверами среднего класса, в то время как некоторые решения требуют дорогостоящего оборудования высокой производительности. Ну и конечно же Эру можно развернуть на виртуальных серверах, лишь бы не использовалось динамическое выделение вычислительных ресурсов — это может негативно сказаться на качестве голоса.

Илья Плещинский: Исторически наша целевая аудитория очень широка: это и небольшие компании с высокими требованиями к гибкости продукта, и высоконагруженные контакт-центры, и распределенные системы корпоративной телефонии. При этом фактически используются одни и те же компоненты и модули, что позволяет применять подходы и стандарты корпоративного класса для малого и среднего бизнеса. Другое дело — лицензирование и ценообразование — как правило, более сложные конфигурации стоят дороже. Наши партнеры имеют богатый опыт в реализации проектов разного масштаба с различными требованиями к отказоустойчивости, поэтому всегда найдут и предложат оптимальный вариант.

Илья Плещинский: Исторически так сложилось, что компании часто используют несколько информационных и коммуникационных систем. Это телефония (PBX), колл-центр (CC), видеоконференцсвязь (VC), учет клиентов (CRM), планировщик задач (TM), управление проектами (PM), обработка заявок (SD) и так далее. Неизбежно встает вопрос их интеграции, порождающей дублирование и противоречивость информации. Технологии и протоколы часто оказываются несовместимыми, а конечные пользователи в итоге вынуждены переключаться между несколькими приложениями.

Мы взяли на себя смелость и ответственность разработать и предложить рынку единую платформу, на базе которой могут быть обеспечены наиболее важные информационные и коммуникационные процессы бизнеса. При этом пользователи работают в едином окне, инженерам доступно централизованное администрирование, а единые хранилища обеспечивают достоверность и актуальность данных.

Таким образом, информационно-коммуникационная платформа (ИКП) — это новый класс корпоративного программного обеспечения, предназначенный для построения любых информационно-коммуникационных систем.

Илья Плещинский: Мы имеем большой опыт в построении контакт-центров и отраслевых решений на их основе. Конечно же, этот опыт вошел и в новый продукт: омниканальные контакт-центры для обработки входящих и исходящих звонков, мессенджеров и электронных писем до сих пор остаются для нас ключевым направлением.

Кроме этого, на базе нашей платформы можно строить большие распределенные системы телефонии. Удаленные филиалы, десятки и сотни тысяч пользователей, запись разговоров и отчетность, открытые интерфейсы для интеграции и высокая отказоустойчивость — вот наши основные характеристики.

Кроме телефонных звонков у нас есть сервис видеоконференций, а также интеграция с мессенджерами и электронной почтой.

Платформа содержит lowcode конструктор, с помощью которого можно разработать индивидуальную отраслевую информационную систему, в которой доступны все виды коммуникаций. Если же посмотреть не на внешние коммуникации компании с клиентами, а на внутреннее взаимодействие ее сотрудников, мы плавно переходим к продукту «унифицированные коммуникации».

Ну и наконец, все перечисленные продукты можно развернуть как в инфраструктуре клиента по модели On-premises, так и в облаке для оказания услуг по модели SaaS. Поэтому в последнее время мы фиксируем интерес к платформе со стороны операторов связи и облачных провайдеров.

Илья Плещинский: Наша команда более 20 лет занимается разработкой коробочных коммуникационных продуктов для бизнеса. В основе команды победители региональных олимпиад по программированию и обладатели ученых степеней. Мы следим за технологическими новинками, повышаем квалификацию на площадках ведущих учебных заведений мира, регулярно участвуем в отраслевых выставках для обмена опытом.

Среди наших клиентов более 5 000 компаний различного масштаба: от небольших интернет-магазинов до крупных финансовых и страховых компаний.

Создавая продукты, мы не боимся рисковать и принимать смелые решения, например подход lowcode мы применяем с начала нулевых, а тогда еще даже такого термина не существовало.

Технологии и мы постоянно развиваемся, благодаря этому мы полностью обновили стек разработки: от Delphi и C# мы перешли к Erlang и TypeScript. Разве что старый добрый C++ для ресурсоемких вычислений присутствует во всех поколениях наших продуктов. Ну и в телефонии, которая исторически является одним из наиболее сложных в разработке участков, многое поменялось: мы застали аналоговые телефонные линии, факсимильные сообщения, платы компьютерной телефонии и протокол H.323, а сейчас стандартом де-факто стал протокол SIP, софтфоны могут работать прямо в браузере благодаря технологии WebRTC.

В работе мы применяем подходы ТРИЗ, MVP и принцип Парето. Современный технологический стек и отсутствие тяжелого исторического наследия позволяют нам развиваться и двигаться вперед весьма быстро.

Илья Плещинский: Как это часто бывает, мы сами используем в работе собственные продукты. Вместе с нашими клиентами мы наблюдали, как развивался рынок и как появлялись различные решения для автоматизации информационных и коммуникационных процессов (это и телефония, и мессенджеры, и конференцсвязь, и хранение данных, и отчетность и т.д.).

Практически в каждом проекте мы сталкивались с интеграциями и коннекторами. Мы многое знаем про узкие места на стыках нескольких программных продуктов. Мы многократно становились свидетелями сложностей, которые возникали у пользователей при постоянной необходимости переходить из одного окна в другое. Кроме этого, обновление информации между несколькими базами данных часто происходит с задержкой, а иногда информация и вовсе теряется. Частая боль — длительная и дорогостоящая адаптация новых сотрудников, обучение их работе в нескольких программах.

По мере роста мы тоже применяли самые разные отраслевые решения и технологии, но всякий раз упирались в их ограничения и приходили к выводу «хочешь, чтобы было хорошо — сделай сам». И тогда нам пришла в голову амбициозная идея — создать единую информационно-коммуникационную платформу (ИКП), позволяющую компании работать в едином пространстве.

Телефония, колл-центр, учет клиентов, управление проектами и обслуживание заявок — все в единой системе, причем с учетом индивидуальных особенностей конкретной компании.

Благодаря дружелюбному интерфейсу, который не содержит ни одной лишней кнопки, пользователям не требуется обучение и изучение инструкций. Это же мечта многих компаний! Благодаря развитию технологий и накопленному опыту нам удалось воплотить ее в реальность.

Илья Плещинский: Мы гордимся нашей смелостью и принятым в определенный момент решением начать разработку новой платформы с чистого листа. К этому привело наложение нескольких факторов.

Во-первых, мы росли вместе с нашими клиентами, и в определенный момент времени односерверные windows-продукты с классическим толстым клиентом перестали обеспечивать их потребность в части масштабирования и нагрузки.

Во-вторых, от привычных колл-центров нам захотелось перейти к более широкой и масштабной телефонизации больших предприятий, а также к реализации отраслевых информационных систем. Эти задачи зачастую неразрывно связаны, а технологически и функционально очень близки.

Илья Плещинский: К сожалению, а может и к счастью, мы не имеем ярко выраженной целевой аудитории. Коммуникации и информационные потоки пронизывают на сегодняшний день все сферы бизнеса любых масштабов.

Технологически мы готовы к высоким нагрузкам и достаточно сложным требованиям, поэтому нас всерьез рассматривают в проектах больших масштабов. При этом типовые проекты запускаются за считанные дни, а их дальнейшее развитие и масштабирование происходит плавно и комфортно.

Таким образом, мы обеспечиваем скорость и гибкость корпоративного класса для малого и среднего бизнеса.

Интернет-магазины, производственные предприятия, финансовые и страховые компании, сфера услуг, государственные учреждения и муниципальные службы, логистические компании — это далеко не полный список отраслей наших клиентов.

При этом сейчас мы движемся по модели B2B2B — работаем с клиентами только через интеграторов. Благодаря отраслевой экспертизе и географической близости к конечным клиентам, интеграторы обеспечивают высочайшие стандарты качества при внедрении нашей платформы и построении продуктов на ее основе.

Илья Плещинский: Наши уважаемые партнеры — это системные интеграторы, имеющие огромный опыт работы с различными продуктами, в том числе и хорошо известных на мировом рынке конкурентов. Мы рады слышать среди их отзывов, что по целому ряду показателей мы уже вырвались вперед.

Уникальная скорость внедрения и гибкость при адаптации платформы под задачи конкретного бизнеса, широкий спектр возможностей из коробки в сочетании с удобным пользовательским интерфейсом, а также объединение информационных и коммуникационных процессов в единой системе получают высокие оценки экспертов.

Крупные клиенты, в свою очередь, отмечают, что мы смогли реализовать в одной платформе наиболее востребованные модули и функции нескольких конкурентных продуктов.

При этом нам удалось устранить их функциональные и технологические недостатки. Так, например, десятки и сотни запущенных процессов мониторятся и управляются из одного окна, любые изменения в настройках и источниках данных вступают в силу моментально без каких-либо потерь, перезапусков и простоя, а интеграционные возможности позволяют управлять системой извне без ограничений.

Мы благодарны клиентам и партнерам за высокие оценки наших разработок. При этом мы всегда открыты к получению обратной связи, на основании которой регулярно корректируем наш роадмап.