В поиске «Яндекса» заработала новая суверенная ИИ-модель

Компания «Яндекс» открыла доступ к собственной суверенной языковой модели Alice AI Search Pretrain. Это компактная разработка, обученная с нуля: она уже прошла первый этап обучения и обладает знаниями о мире. Благодаря архитектуре модель способна мгновенно давать ёмкие ответы и обрабатывать большой поток запросов. Эту информацию сообщает сайт Prokazan.

В основе Alice AI Search Pretrain лежит гибридная архитектура, ранее применявшаяся преимущественно в научных исследованиях: она сочетает Encoder-Decoder и MoE. Одна часть модели изучает и отбирает информацию, другая генерирует ответ, а MoE активирует только те участки нейросети, которые лучше разбираются в теме. Это ускоряет работу и экономит вычислительные мощности: при 35 миллиардах параметров на обработку одного токена уходит около 600 миллионов — менее 2 процентов.

С июля дообученная версия этой модели работает в поисковой системе компании. Разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия людей с поиском. Ответы появляются прямо под поисковой строкой и помогают быстро разобраться в теме; быстрыми ответами каждый месяц пользуются более 49 миллионов человек.

По данным замеров методом слепого тестирования, Alice AI Search Pretrain отвечает лучше зарубежных моделей в своей категории. Она также сопоставима по качеству с аналогами, которым требуется в разы больше вычислительных ресурсов.