Компания NVIDIA выпустила бесплатную нейросеть Nemotron 3.5 Transcribe с открытыми весами. Модель объединяет функции расшифровки аудио, перевода речи и определения голосов собеседников, поддерживая 40 языков, включая русский. Об этом сообщает портал Компьютерра.
Нейросеть способна переводить речь с этих языков на английский и обратно, а также различать до восьми участников разговора, даже если они говорят одновременно. Пользователь может давать текстовые инструкции, например попросить подготовить полную расшифровку, выделить реплики отдельных людей или составить краткое содержание встречи.
Модель обрабатывает аудиозаписи длительностью до одного часа. Система может отвечать на вопросы по содержанию записи и учитывать специализированные термины, что полезно при работе с медицинскими консультациями, лекциями и деловыми переговорами.
Архитектура Nemotron 3.5 Transcribe включает 30 млрд параметров, но одновременно задействуются около 4 млрд. Это позволяет запускать нейросеть на одном графическом ускорителе NVIDIA. По данным разработчиков, видеокарта RTX PRO 6000 Blackwell Server Edition обрабатывает 100 часов аудио менее чем за три минуты в формате NVFP4.
В тестировании Open ASR Leaderboard модель заняла первое место среди систем с открытыми весами, показав среднюю долю ошибок 5,33%. Вместе с нейросетью компания выпустила набор данных Granary v2 с сотнями тысяч часов аудиозаписей на 48 языках для обучения речевых моделей.
Nemotron 3.5 Transcribe доступна на платформе Hugging Face, ее можно использовать в коммерческих проектах. Сейчас система работает только с готовыми аудиозаписями и не поддерживает распознавание речи в реальном времени.