Сбер представил ИИ-модель Pollux для оценки ответов нейросетей
Специалисты Сбербанка разработали Pollux — модель, способную проверять ответы других нейросетей по заданным пользователем критериям. Инструмент предназначен для ускорения поиска ошибок в работе ИИ и повышения точности и безопасности выдаваемых ими результатов. Об этом сообщает портал Lenta.ru.
Модель, получившая название Pollux Judge, насчитывает 4 млрд параметров. Она оценивает не только пары «запрос-ответ» на русском и английском языках, но и диалоги, ответы с найденным контекстом и цепочки вызовов инструментов. Пользователь может самостоятельно задавать критерии, шкалы и форматы вывода.
В основе методологии лежит бенчмарк Pollux Benchmark, включающий 35 групп задач и 2115 запросов, подготовленных экспертами. Обучение модели проводилось методом GRPO на русскоязычных и англоязычных данных, что обеспечивает её двуязычное применение.
Развернуть решение можно локально или использовать через API, совместимый с OpenAI. Разработчики также могут интегрировать Pollux с популярными фреймворками, такими как DeepEval и LightEval.
Как отметил директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков, при массовой проверке ответов ИИ использование больших языковых моделей обходится дорого, а критерии оценки зависят от конкретной задачи. В Pollux были разработаны подробные критерии и собран большой набор данных с экспертной разметкой, которые открыты для исследователей. В экспериментах оценки компактной модели лучше согласовывались с экспертными, чем оценки моделей, превосходящих её по числу параметров в сотни раз.
Научная статья о Pollux принята в трек System Demonstrations на международную конференцию AACL-IJCNLP 2026, которая пройдёт в Китае.
