Microsoft завершает полную связь с голосовым агентом: расшифровка во время разговора, генерация речи всего за 45 мс

Dongcha Обогнав AI News, Microsoft AI запустила сразу три аудиомодели, а именно MAI-Transcribe-2-Streaming, MAI-Voice-2.1 и MAI-Voice-2.1-Flash. Первый отвечает за преобразование речи в реальном времени в текст, а два последних — за генерацию текста в речь, в основном для голосовых агентов с малой задержкой.

Среди них MAI-Transcribe-2-Streaming может продолжать выводить текст до того, как человек закончит говорить, и поддерживает 60 языков и автоматическое определение языка. Рейтинги потоковой транскрипции речи Artificial Analysis показывают, что она занимает первое место как по окончательной, так и по первой частичной точности транскрипции, с частотой ошибок в словах 2,5%. Окончательный текст был возвращен примерно через 0,13 секунды после обнаружения конца речи по сравнению с 2,7% и 0,49 секунды для Grok Voice Transcribe 2.0.

MAI-Voice-2.1 поддерживает 23 языка, позволяя одному и тому же голосу переключаться между разными языками. Версия Flash предназначена для уменьшения задержки: время вывода модели составляет около 45 мс и цена 15 долларов за миллион символов; стандартная версия занимает около 550 мс и стоит 22 доллара. Обе модели поддерживают согласование вокала с коротким фрагментом эталонного звука.

Эта комбинация решает проблему ожидания, которая больше всего влияет на работу голосового агента. Система может начать расшифровку и рассуждение заранее, когда пользователь говорит, а затем использовать Flash для быстрого создания голосового ответа, не дожидаясь завершения полного предложения перед началом работы.