Российские ИИ-модели вдвое точнее OpenAI и Nvidia в русскоязычных задачах

Отечественные системы распознавания речи показали вдвое меньше ошибок при работе с русскоязычными задачами, чем зарубежные аналоги от OpenAI и Nvidia. Об этом РИА Новости сообщили в MWS AI, входящей в МТС Web Services, в преддверии форума «Цифровые решения». Об этом сообщает издание РИА Новости.

Тестирование проводилось на более чем 12 тысячах размеченных аудиозаписей общей длительностью около 38 часов. Выборка включала как речь без выраженных помех, так и записи с акустическим шумом и фоновой речью. По итогам испытаний российские модели продемонстрировали достаточную точность для применения в ключевых бизнес-сценариях в основных отраслях экономики.

Сравнение велось по показателю WER, отражающему число ошибок при распознавании слов относительно эталонной расшифровки. Средний WER у GigaAM от «Сбера» составил 7,4%, что более чем в два раза лучше результата Nvidia Parakeet (15,8%) и более чем в три раза — Nvidia Nemotron (25,5%).

На записях с шумом разрыв оказался еще заметнее: у GigaAM WER достиг 18%, у Nvidia Parakeet — 33%, а у Whisper от OpenAI — 62%. Второе место по точности заняла другая российская разработка — Vosk от Alpha Cephei.

Форум «Цифровые решения» проходит в Национальном центре «Россия» с 6 по 10 октября. РИА Новости выступает генеральным информационным партнером мероприятия.