KazLLM (большая языковая модель)

2026: Выпуск языковой модели

В Казахстане разработана большая языковая модель KazLLM, которая доступна широкому кругу пользователей, включая научное сообщество, стартапы и крупные корпорации. С характеристиками решения TAdviser ознакомился в середине февраля 2026 года.

KazLLM разработана специалистами Института умных систем и искусственного интеллекта (ISSAI) в составе Nazarbayev University (Назарбаев Университет) при поддержке и координации Министерства цифрового развития, инноваций и аэрокосмической промышленности и Министерства науки и высшего образования Республики Казахстан.

𝓲

Фото: Freepik

Созданы две версии KazLLM — с 8 млрд (8B) и 70 млрд (70B) параметров: обе основаны на архитектуре Llama. Окончательный набор данных для обучения содержал более 150 млрд токенов на казахском, русском, английском и турецком языках. Информация собрана из общедоступных источников, включая казахские веб-сайты, новостные статьи и онлайн-библиотеки. Кроме того, высококачественный контент на английском языке был переведен на казахский язык. Использованы также данные, предоставленные различными организациями. Ключевыми партнерами в создании национальной языковой модели стали Beeline Казахстан и его ИТ-компания QazCode.

Обучение выполнялось на серверах, построенных на платформе NVIDIA DGX H100. Команда ISSAI создала 4-битные квантизированные версии моделей, которые менее требовательны к объему памяти и вычислительным ресурсам. Такие варианты KazLLM подходят для развертывания в средах с ограниченной мощностью — например, могут применяться на ноутбуках и рабочих станциях.Создатели ALT Linux – о сложной судьбе свободного ПО, роли Максута Шадаева и сделке с «Ростелекомом». Подкаст TAdviser 17.5 т

Модель KazLLM предназначена для обработки, анализа и генерации текстов на казахском языке. Она способна выполнять широкий спектр задач: от перевода и обработки документов до автоматизации общения. KazLLM может стать основой чат-ботов, систем поддержки клиентов, платформ анализа данных и пр.^[1]

2024: Работа по созданию ИИ-модели

В Казахстане началась работа над созданием национальной модели искусственного интеллекта под названием KAZ-LLM. Об этом стало известно в августе 2024 года. Этот проект реализуется научной рабочей группой под руководством Института умных систем и искусственного интеллекта (ISSAI) при Назарбаев Университете, с целью преодоления языкового разрыва в сфере ИИ и создания технологий, адаптированных к нуждам казахстанцев.

Как пишет Profit.kz, большинство современных ИИ-моделей разработаны для языков с высоким уровнем ресурсов, таких как английский, испанский или русский, что ставит страны с малоресурсными языками в невыгодное положение. KAZ-LLM станет первой крупной языковой моделью в Казахстане, охватывающей казахский, русский и английский языки. Это позволит жителям Казахстана использовать передовые цифровые технологии на своем родном языке, а также обеспечит доступ к национальным и культурным особенностям, заложенным в основу модели.

𝓲

Фото: Profit.kz

Важным партнером в этом проекте выступает компания Beeline Казахстан и её дочерняя ИТ-компания QazCode. В 2023 году Beeline уже запустила и опубликовала в открытом доступе модель Kaz-RoBERTA-conversational, которая используется для обслуживания клиентов на цифровых платформах. Теперь Beeline и QazCode обеспечивают проект KAZ-LLM необходимой инфраструктурой, включая облачные вычислительные мощности объемом 8 DGX H100, что позволило значительно увеличить объем тренировочных данных и возможности обучения модели.

KAZ-LLM будет играть ключевую роль в сохранении национального культурного наследия, охватывая исторический контекст, специализированные области и разговорные данные, характерные для Казахстана. Проект также направлен на развитие передовых специалистов в области генеративного ИИ, что способствует укреплению научного потенциала страны.^[2]

Примечания