«Сбер» открывает разработчикам новые модели для работы с голосом
Модели уже доступны на GitVerse и Hugging Face для свободного использования разработчиками по всему миру.
«Сбер» выложил в открытый доступ облегченную версию модели GigaChat3.1-Audio-10B и семейство моделей автоматического распознавания речи GigaAM Multilingual.
GigaChat3.1-Audio-10B — большая языковая модель, которая обрабатывает аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Модель распознает интонацию говорящего и определяет, с позитивной или негативной эмоцией произнесена реплика — по характеристикам голоса и нюансам произношения. Она способна обрабатывать записи длиной до трех часов и ориентироваться внутри них: находить момент, где обсуждался конкретный вопрос, пересказывать отдельный отрезок или выдавать саммари всей записи со ссылками на таймкоды. Модель также различает в записи спикеров. Эти возможности можно использовать для разбора совещаний и звонков, навигации по записям, протоколирования.
GigaAM Multilingual — семейство моделей автоматического распознавания речи, первая российская открытая модель, работающая с несколькими языками, и лучшее из открытых решений по качеству распознавания речи на русском.
Антон Фролов, старший вице-президент, руководитель блока «Развитие генеративного ИИ» «Сбербанка»: «Голос — самый естественный способ общения с технологией, но и самый требовательный: любая ошибка в распознавании или неверно считанная эмоция сразу разрушает доверие к ассистенту. Поэтому мы считаем аудио точкой роста для рынка ИИ-помощников. Запуская эти модели в открытый доступ, мы даем мощный инструмент разработчикам и ученым. От синхронного голосового перевода до сервисов для людей с нарушениями речи — спектр применений у голосовых технологий очень широкий. А мультиязычность и возможность легкого обучения другим языкам открывают для них и международные перспективы».
Что получат разработчики
На основе GigaChat3.1-Audio-10B можно создавать:
— сервисы транскрибации;
— тренажеры произношения;
— инструменты для оценки качества озвучки;
— голосовые переводчики с пониманием контекста;
— сервисы пересказа длинных записей.
GigaAM Multilingual по замерам допускает в 1,5-2 раза меньше ошибок, чем ближайшие конкуренты.
Модель поддерживает русский, английский, кыргызский, казахский и узбекский языки и доступна в двух версиях — компактной, которая работает на обычных процессорах, и флагманской, обеспечивающей более высокое качество распознавания.
Подойдет для кол-центров и голосовых ассистентов, расшифровки встреч, интервью и подкастов, голосового ввода в приложениях и автосубтитров.
Обе модели прошли предварительное обучение на большом числе языков, поэтому их можно быстро дообучить под дополнительные, в том числе языки стран СНГ. Для этого достаточно нескольких десятков часов размеченных аудиозаписей.
Научные статьи о новых моделях приняты на Interspeech 2026 — одну из ведущих международных конференций по речевым технологиям.
Обновленная GigaChat Audio уже работает и внутри ИИ-помощника «ГигаЧат».
