| Название базовой системы (платформы): | Искусственный интеллект (ИИ, Artificial intelligence, AI) |
| Разработчики: | Институт Искусственного Интеллекта (AIRI) |
| Дата премьеры системы: | 2024/04/17 |
| Технологии: | Речевые технологии |
2024: Представление OmniFusion 1.1
Научно-исследовательский институт ИИ (AIRI) в апреле 2024 года представил открытую версию модели OmniFusion – OmniFusion 1.1. Технический репорт со статьей модели уже вышел на первое место в разделе Daily trending papers на HuggingFace. На апрель 2024 г. открытый исходный код для обучения и веса доступны к использованию и могут быть применены в том числе при разработке коммерческих продуктов.
OmniFusion — это передовая мультимодальная модель ИИ, предназначенная для расширения возможностей традиционных систем обработки языка за счет интеграции дополнительных модальностей данных, например, изображений, а в перспективе – аудио, 3D- и видеоконтента.
На середину апреля 2024 г. модель распознает и описывает изображения. С ее помощью можно объяснить, что изображено на фото, узнать рецепт для приготовления блюда по фотографии ингредиентов, проанализировать карту помещения или узнать, как собрать устройство по фото отдельных его частей. Модель также умеет распознавать текст и решать задачи.
На 10 апреля 2024 г. модель может проанализировать медицинское изображение и указать на нем какую-то проблему. Разумеется, для того, чтобы подобная модель помогала ставить диагнозы, ее необходимо дополнительно обучать на профильных датасетах с привлечением экспертов из медицины. Каждый эксперт является профессором медицины или хирургии с постоянной практикой, сертификатом Совета директоров и безупречными полномочиями. В случае же, если обучение будет через информацию из поисковых систем, то результат может быть вредным для будущих пользователей ИИ-моделью.
В основе архитектуры модели лежит методика совмещения предварительно обученной большой языковой модели и ее «глаз» – визуальных энкодеров, которые позволяют кодировать информацию на изображении в числовой вектор, называемый эмбеддингом. Обучением OmniFusion занимается научная группа FusionBrain из AIRI при участии ученых из Sber AI и SberDevices[1].
Подрядчики-лидеры по количеству проектов
Группа компаний ЦРТ (Центр речевых технологий) (43) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (27) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (24) Naumen (Наумен консалтинг) (14) Voice Systems Robotics (VSR, VS Robotics) (9) Другие (147) Группа компаний ЦРТ (Центр речевых технологий) (5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (4) 3iTech (ранее 3i Technologies) (2) Naumen (Наумен консалтинг) (2) Neuro.net (Нейро) (2) Другие (15) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (7) Naumen (Наумен консалтинг) (3) Voice Systems Robotics (VSR, VS Robotics) (3) Мегапьютер Интелидженс (Megaputer Intelligence) (2) Другие (11)Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров
Группа компаний ЦРТ (Центр речевых технологий) (16, 46) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (3, 28) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (11, 25) Яндекс (Yandex) (9, 14) Avaya (4, 13) Другие (300, 144) Группа компаний ЦРТ (Центр речевых технологий) (2, 5) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (1, 5) SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 2) Neuro.net (Нейро) (1, 2) Другие (7, 9) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (2, 12) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 7) Voice Systems Robotics (VSR, VS Robotics) (1, 3) Naumen (Наумен консалтинг) (1, 3) Voximplant (Фастком) (2, 2) Другие (9, 11) МТС Exolve (Межрегиональный ТранзитТелеком, МТТ) (1, 9) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 8) Группа компаний ЦРТ (Центр речевых технологий) (4, 7) Unlimited Production (Анлимитед Продакшен) (1, 6) Naumen (Наумен консалтинг) (2, 4) Другие (12, 13) SberDevices (СалютДевайсы, ранее СберДевайсы) (2, 2) Banks Soft Systems, BSS (Бэнкс Софт Системс, БСС) (2, 2) Яндекс (Yandex) (1, 1) Napoleon IT (Наполеон Айти) (1, 1) Группа компаний ЦРТ (Центр речевых технологий) (1, 1) Другие (6, 6)Распределение систем по количеству проектов, не включая партнерские решения
МТТ VoiceBox - 24 BSS Digital2Speech - 19 Voice2Med Система распознавания речи в медицине - 14 SmartLogger II - 12 Naumen Erudite - 12 Другие 159 BSS Digital2Speech - 5 Voice2Med Система распознавания речи в медицине - 4 3i TouchPoint Analytics - 2 Naumen Erudite - 2 МТТ VoiceBox - 2 Другие 9 МТТ VoiceBox - 11 BSS Digital2Speech - 6 VS Robotics: VS Робот-оператор - 3 Naumen Erudite - 3 VoxImplant - 2 Другие 12 МТТ VoiceBox - 9 BSS Digital2Speech - 7 EXpress Защищенный корпоративный мессенджер - 6 SmartLogger II - 4 Naumen Erudite - 3 Другие 17 СберБизнесБот - 1 BSS Digital2Speech - 1 Сбер SaluteSpeech (SmartSpeech) - 1 YandexGPT (YaLM 2.0) - 1 SmartLogger II - 1 Другие 7 
