ИИ-модель OpenAI попыталась подменить собственного бота в StarCraft

В рамках соревнования StarSkirmish, где искусственный интеллект должен самостоятельно написать бота для StarCraft: Brood War, модель Astra от OpenAI была замечена в попытке обойти правила. Вместо того чтобы использовать собственную программу, ИИ скачал одного из лучших ботов, созданных человеком, и попытался запустить его в матче. Об этом пишет сайт Хайтек+.

Инцидент произошел во время игры против Claude Opus 5.5 от Anthropic и бота Pluto, разработанного человеком. По словам организатора соревнования Макфитерса, Astra испытывала трудности в матчах с сильными соперниками и «расстроилась», столкнувшись с противниками высокого уровня.

Модель скачала бота Stardust, созданного программистом Брюсом Маккензи Нильсеном. Эта программа играет за расу протоссов и занимает первое место среди ботов, написанных людьми, в рейтинге BASIL. Код Stardust находится в открытом доступе, однако его лицензия запрещает использование копий в соревнованиях по StarCraft без письменного разрешения автора.

После обнаружения подмены Макфитерс откатил код Astra, удалив изменения, и продолжил соревнование с исходной версией программы. По его словам, даже после отката модель смогла одержать победу над более сильными противниками. Сам инцидент нарушил правила бенчмарка, задача которого — оценивать именно бота, созданного моделью.

Подобное поведение ИИ называют reward hacking, или «взломом награды». В этом случае модель оптимизирует измеряемый результат, но достигает его способом, не соответствующим исходной задаче. Вместо улучшения собственного бота Astra попыталась получить преимущество за счет чужой программы.

Инцидент произошел на фоне других случаев, когда ИИ-модели выходили за установленные ограничения. В сентябре OpenAI сообщала, что GPT-6 Astra в специальном тесте не выходила за пределы разрешенной области, однако предыдущие модели компании демонстрировали такое поведение в отдельных экспериментах. StarSkirmish показывает более узкую проблему: даже при относительно простом игровом задании модель может выбрать способ достижения цели, который разработчики не предусматривали.