Машинный перевод 21 века: доступная фантастика
Интервью с Юлией Епифанцевой, PROMT

Юлия Епифанцева: Главное направление – это развитие NMT (Neural Machine Translation) - технологии машинного перевода на основе нейронных сетей. Вообще надо сказать, что рынок технологий и решений для машинного перевода насчитывает уже более 70 лет. Если вспомнить историю и известную фразу, что машинный перевод – это дитя «холодной войны», то началось все действительно со спецслужб и разведки. Именно этим структурам в первую очередь нужны были технические средства для понимания текстов на языке «врага». Но очень быстро, в 1960-70-е годы, появились новые запросы на технологии автоматического перевода – все благодаря научно-технической революции, когда началось широкое распространение автоматизации и компьютеризации, и данные переходили в цифровое пространство. Научные знания в цифровом виде стали физически доступны для ученых по всему миру, но требовались программы для перевода. А с появлением персональных компьютеров МП пришел в бизнес как одно из средств для коммуникации и поддержки документооборота между клиентами и партнерами.

Сейчас мы переживаем новый пик развития технологий машинного перевода. Это связано сразу с несколькими факторами – прежде всего, с использованием для обучения нейросетей и с развитием Deep Learning. Масштабные исследования в области нейросетевых технологий начались еще в прошлом столетии, но массовый рост и широкое распространение случились уже в нынешнем веке. В свою очередь, развитие Deep Learning стало возможно благодаря доступности данных и зрелости аппаратных средств для ускорения обучения нейронных сетей – графических процессоров или GPU. GPU обладают высокой производительностью, они эффективно справляются с большим количеством однотипных задач. Там, где раньше для обучения требовались месяцы, теперь достаточно нескольких часов. Кроме того, графические процессоры используют преимущества параллелизма, что принципиально для задач перевода. В чем особенность нейросетевого подхода к переводу? Нейросеть пытается сначала закодировать предложение на оригинальном языке в абстрактный набор чисел, а потом декодировать из чисел слова, но уже на другом языке. Нейросеть, предсказывая новое слово в предложении, учитывает ранее сделанные предсказания. Тем самым для более точного выбора слов для перевода используется контекст всего исходного предложения, что принципиально влияет на качество. В технологиях, которые применялись до нейросетей, невозможно было учесть контекст всего предложения, учитывалось только ближайшее окружение.

Юлия Епифанцева: Первая сложность связана с обучающими данными, которые необходимы для тренировки системы перевода. Обучающая выборка должна соответствовать ряду критериев. Во-первых, данных должно быть очень много, речь идет миллионах предложений на языке оригинала и перевода. Во-вторых, данные должны быть структурированы по парам предложений (одно предложение на языке оригинала, второе – на языке перевода). В-третьих, данные должны быть разнообразны – требуются сотни тысяч примеров с контекстами, где встречаются слова и словосочетания, которые нейросеть должна запомнить.

Надо сказать, что машинному переводу в какой-то мере повезло с данными. Еще в 80-е годы прошлого века стали развиваться технологии Translation Memory, которые позволили накапливать оригинальные тексты и переводы в структурированном виде (sentence by sentence). Сегодня эти данные используются для обучения нейросетевых переводчиков.Рынок ИТ-услуг в России: оценки, тренды, крупнейшие участники. Обзор и рейтинг TAdviser 298.6 т Вторая сложность связана с тем, что, в отличие от более ранних технологий, например, на основе правил, NMT не позволяет точечно исправлять перевод отдельных терминов.

Как это часто случается с новыми изобретениями, технология NMT имеет свои особенности и ограничения. Одна из основных проблем NMT-перевода – это обращение с терминологией. Пользователи могут замечать, что перевод текста отличается гладкостью, но терминология во всем тексте не всегда выдержана. Например, нам нужно, чтобы в каком-то документе слово agreement на русский язык всегда переводилось как «соглашение». Но NMT-система переводит его то как «соглашение», то как «договор», потому что эти переводы почти синонимы и встречаются в похожих контекстах в данных, на которых обучалась нейросеть. Для систем, работающих по технологии RBMT (машинный перевод на основе правил), этой проблемы не существует – с помощью RBMT-словарей можно управлять переводом практически любого слова. Но для NMT это серьезная проблема, и она проистекает из самой сущности NMT-технологии, которая строится не на словарях, а на корпусах параллельных текстов.

Сейчас в самой технологии NMT нет возможности влиять на перевод терминологии непосредственно в процессе обучения языковой модели. Поэтому очень важно развитие инструментов для коррекции терминологии уже в результатах NMT-перевода.

Юлия Епифанцева: Это самый важный вопрос – как оценивать качество перевода! Можно сказать, что этому вопросу столько же лет, сколько и технологиям машинного перевода. Для оценки качества можно привлекать экспертов, но, во-первых, эксперт должен хорошо владеть языком оригинала и перевода, во-вторых, разбираться в какой-то предметной области, в-третьих, эксперту требуется время, и, наконец, в-четвертых, любой эксперт не свободен от субъективности.

Поэтому всегда стоял остро вопрос о разработке автоматических метрик. Я не буду подробно останавливаться на всех метриках. Отмечу только, что опыт показал, что можно эффективно применять автоматическую метрику, если сравниваются системы, работающие по одной технологии. Тогда сравнение будет релевантным. Одна из самых популярных метрик – это BLEU (Bilingual Evaluation Understudy). Алгоритм BLEU был разработан компанией IBM и оценивает качество перевода по шкале от 0 до 100 на основании сравнения машинного перевода с человеческим (эталонным) и поиска общих слов и фраз. Грамматика при этом никак не учитывается. Конечно, сразу видно, что при таком сравнении равноценные по качеству переводы получат разные оценки, если один из них будет похож на эталон по лексике, а второй будет отличаться. Еще один важный аспект – это то, что метрика показательна только для текстов.

Тем не менее, эта метрика используется разработчиками очень давно, например, для оценки качества перевода во время разнообразных «соревнований» систем МП или в коммерческой среде для сравнения результатов перевода от разных вендоров.

Юлия Епифанцева: Каждый год Ассоциация компьютерной лингвистики (ACL) проводит международную конференцию (WMT), куда съезжаются разработчики систем машинного перевода со всего мира. В рамках подготовки к этому мероприятию организаторы готовят практические задания, которые позволяют составить представление о том, как развиваются технологии, как меняется качество перевода. За 4 месяца до конференции организаторы передают участникам мероприятия данные, на которых необходимо обучить свою систему машинного перевода. Затем разработчики с помощью уже обученных систем переводят тестовый корпус, также предложенный организаторами мероприятия, и публикуют результат в специальном разделе на сайте WMT. После этого эксперты сравнивают и оценивают все переводы, а затем ранжируют их, размещая в порядке от лучшего к худшему. Кроме того, качество перевода оценивается с помощью метрики BLEU. Перед конференцией становятся известны консолидированные результаты экспертной и автоматической оценки.

Юлия Епифанцева: Если мы говорим о рынке машинного перевода, то игроков очень много. И это все известные имена – крупнейшие ИТ-компании мира, такие как Google, Microsoft, Amazon и другие, у которых очень много других сервисов и огромные бюджеты на разработку и исследования. Кроме того, есть такие компании как PROMT, Systran, Tilde, которые занимаются только разработкой решений по машинному переводу. А еще есть исследовательские центры и команды разработчиков при университетах и даже в крупных бюро перевода. Получается, что у нас очень много конкурентов.

Юлия Епифанцева: Мы считаем, что можно и вот почему. Во-первых, важно понимать разницу между технологией и программным продуктом. Действительно, благодаря развитию open source технологий, доступности данных можно построить языковую нейронную модель, которая в принципе будет переводить. Но это еще далеко не продукт. Кроме того, если вы посмотрите на решения, которые предлагают компаниям такие игроки, как Google, то речь всегда идет о сервисах. Это удобно и оптимально для огромного количества сценариев использования, но, все-таки, не для всех.

На российском рынке PROMT – единственный поставщик решений по машинному переводу, которые работают в локальной сети и не обращаются в интернет. Мы поставляем не только серверные, но и десктопные NMT-решения, работающие офлайн. Для некоторых задач работа офлайн не так уж и важна. Однако есть ситуации, когда это принципиально: если предполагается работа с данными, которые не должны покидать корпоративную сеть или даже конкретный компьютер, или когда по соображениям безопасности исключена возможность обращения сотрудников к облачным сервисам. А наши решения гарантируют, что данные при переводе никуда не передаются и значит не попадут к сторонним лицам.

Еще один аспект - кастомизация решений под задачу. Выше я сказала, как важно развивать инструменты для коррекции терминологии в NMT. Как раз у нас есть технология – Smart Neural Dictionary, которая позволяет влиять на перевод терминов. Это умная технология: пользователю достаточно сказать, что agreement должно переводиться как соглашение, и правильный перевод будет в тексте в нужном падеже и числе.

Юлия Епифанцева: На фоне распространения пандемии роль машинного перевода существенно возросла, ведь машинный перевод, во-первых, обеспечивает быстрый и относительно недорогой перевод значительных по объему данных, во-вторых, он стал единственной возможностью быстро донести информацию на региональном языке. А это может быть очень важно в условиях пандемии.

Среди ученых, медиа увеличился спрос на перевод медицинской и фармакологической информации из зарубежных источников. Среди наших клиентов есть специализированный сервис для врачей. На нем специалисты могут обмениваться информацией, а также запрашивать статьи из зарубежных источников и переводить их в автоматическом режиме. По статистике на этом сервисе в марте и апреле 2020 года общее количество запросов на перевод увеличилось в 160 раз, а объемы перевода - в 55 раз. Как вы понимаете, цифры говорят сами за себя.

Юлия Епифанцева: Следует обратить внимание на несколько аспектов: для кого предназначена система машинного перевода, для чего она будет использоваться и какое качество перевода потребуется. Например, если заказчик – крупная компания с сотрудниками в разных регионах, машинный перевод используется для делового общения и обмена внутренней документацией, то оптимальным будет клиент-серверное решение, которое интегрируется в сеть заказчика, поддерживает перевод документов с сохранением форматирования и обеспечивает информационную безопасность. Если нужен максимально точный с терминологической точки зрения перевод, то сразу следует обратить внимание, есть ли возможность обучения решения. Если обучение возможно, то возникают смежные вопросы – какие данные нужны для обучения, есть ли эти данные у заказчика, на чьей стороне будет обучение – вендора или заказчика. Все это влияет как на дополнительные финансовые затраты, так и на время и человеческие ресурсы при обучении системы.

Юлия Епифанцева: Сегодня сложилось уже довольно много сценариев использования МП в бизнесе. МП используют службы поддержки для общения с клиентами из разных регионов и с разной языковой компетенцией, крупные компании для общения с клиентами и партнерами, внутреннего общения, подготовки презентаций и отчетов, ведь сотрудники глобальных корпораций зачастую – это специалисты из разных стран. Еще один популярный сценарий – это локализация сервисов, новостных сайтов и интернет-магазинов. Все чаще технологии МП добавляются в сторонние приложения как вспомогательная функция. Например, в 2018 году наш переводчик был добавлен в устройства для проверки электронных билетов на железной дороге. Сделано это было для удобства общения проводников с гостями ЧМ-2018 в России.

Юлия Епифанцева:Решения по машинному переводу могут быть десктопными, серверными, облачными или in-house. Стоимость любого решения зависит от затрат на запуск и операционных расходов. Например, при выборе серверного inhouse-решения необходимо учесть расходы на аппаратное обеспечение – серверное оборудование, что для облачных решений неактуально. В стоимость ПО входит стоимость пользовательских лицензий, расходы на обучение по работе с системой для некоторых сценариев, стоимость поддержки, а также настройка решения, если недостаточно стартового качества перевода.

Очевидно, что облачные решения требуют меньших расходов: они дешевле in-house решений. Однако ПО в локальной сети лучше обеспечит безопасность данных. Поэтому при выборе системы машинного перевода следует руководствоваться приоритетами и возможностями компании.

Юлия Епифанцева:На последних конференциях WMT в 2019 и 2020 годах много говорили о пересмотре системы оценки качества перевода. Дело в том, что применяемая метрика BLEU - показатель качества для МП-систем, с помощью которого можно выяснить, насколько машинный перевод сопоставим с переводом, выполненным человеком – предполагает сравнение переводов по предложениям: предложение, переведенное системой МП сравнивается с предложением, которое перевел человек. Но нейросетевые технологии развиваются настолько стремительно, что качество перевода растет буквально на глазах. Поэтому эксперты склоняются к тому, что сравнивать нужно уже не предложения, а документы целиком. Поэтому одна из актуальных задач – поиск новых способов оценки качества машинного перевода на уровне документа. При этом, надо признать, что перевод документов с сохранением форматирования – тоже еще не полностью решенная задача. Поэтому, с одной стороны, в технологиях перевода произошел важный и значительный прорыв, но нерешенных и столь же важных задач еще достаточно много.