Ученые Сбера и «Сколтеха» нашли способ выявлять ложные ответы ИИ

Специалисты Центра практического искусственного интеллекта Сбера и «Сколтеха» разработали метод, который позволяет обнаруживать галлюцинации больших языковых моделей в системах, использующих поиск по внешним источникам. Как сообщили в Сбербанке, подход основан на анализе топологической структуры карт внимания нейросети. Данную информацию сообщает портал Ferra.

Новый метод, получивший название TOHA, не требует обучения дополнительных моделей и использует небольшой объем размеченных данных для настройки. Это выгодно отличает его от существующих решений, многие из которых нуждаются в значительных вычислительных ресурсах или больших массивах размеченной информации.

Исследователи проверили разработку на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках TOHA показал результаты, сопоставимые с современными методами, а при ограниченных ресурсах даже превзошел их. В частности, по данным авторов, он не уступает более затратному SelfCheckGPT, который предполагает несколько генераций ответа.

Работа Hallucination Detection in LLMs with Topological Divergence on Attention Graphs уже опубликована в материалах конференции Association for Computational Linguistics — ACL 2026. Технология интегрирована в открытую библиотеку SIRIN, что делает ее доступной для создания корпоративных ассистентов, работающих с базами знаний.

Директор по AI-трансформации Сбербанка Сергей Рябов отметил, что вместо масштабной разметки данных используется точечная настройка внимания модели. По его словам, это новый стандарт доверия к ответам ИИ.