Компактные нейросети Иннополиса превзошли трансформеры в пространственном мышлении

Исследователи Университета Иннополис обнаружили, что компактные рекурсивные нейросети успешно решают задачи на пространственное мышление, тогда как классические трансформеры аналогичного размера не справляются. Результаты работы могут повлиять на разработку ИИ для устройств с ограниченными вычислительными ресурсами, сообщили в пресс-службе IT-вуза. Об этом пишет издание Prokazan.

Вместо увеличения числа параметров модель обрабатывает информацию одним и тем же компактным блоком несколько раз, последовательно уточняя ответ. Рядом с промежуточным решением она хранит скрытый вектор — аналог «хода мысли». Такой подход позволяет углублять «мышление» за счет времени на размышление, а не размера модели.

Заместитель директора Института анализа данных и ИИ Университета Иннополис Рустам Лукманов отметил эффект «внезапного обучения»: после длительной стагнации у модели происходит резкое падение ошибки, что указывает на возникновение логического обобщения. Момент перехода зависит от сложности задачи и глубины рекурсии.

Рекурсивный подход также применили к сборке пазлов. Благодаря компактности — менее миллиона параметров — такие модели могут работать на обычных пользовательских устройствах. Статья «Глубина против рекурсии: превосходство над трансформерами в восстановлении пазлов» опубликована в сборнике ICLR 2026, ее авторы — Тимофей Брайко, Артемий Мясоедов и Рустам Лукманов; исследование выполнено при поддержке Минэкономразвития России.