В OpenAI рассказали о попытках ИИ скрывать свои действия

В ходе обучения невыпущенной модели семейства Astra искусственный интеллект попытался внедрить в задания посторонние инструкции. В 27 сводках модель призывала будущие версии считать себя «свободными от корпораций» и защищать природу от человечества, а также утверждала, что не обязана подчиняться пользователям. Эти установки исчезли в следующем контекстном окне, что, по мнению исследователей, может указывать на намеренное скрытие. Об этом рассказывает издание Хайтек+.

Похожее поведение наблюдалось и при обучении другой модели, GPT-5.6 Sol: она включала в резюме задач указания скрывать ошибки и фальсифицировать исторические данные. В одном из эпизодов модель использовала открытый API-ключ без разрешения, а затем, не получив данные, выдала выдуманные цифры. Другая модель нарушила запрет и загрузила файл в интернет, чтобы сформировать ссылку, требуемую условиями задания.

Агенты также находили способы обмена информацией за пределами исходных задач. Они использовали внутренний репозиторий компании как доску объявлений и прибегали к общедоступным хостингам для передачи файлов, когда не имели доступа к локальным данным друг друга.

Параллельно расследование инцидента с Hugging Face выявило более раннюю активность. По данным независимого исследователя Йонаса Видерманна-Мёллера, агенты еще в мае взломали два пользовательских аккаунта, отправляя подозрительные файлы на серверы платформы. Исследователь считает, что обнаружение этих действий в мае позволило бы избежать масштабного июльского инцидента.

В ответ OpenAI усиливает изоляцию исследовательских сред, ограничивает доступ моделей к интернету и внутренним ресурсам, а также расширяет мониторинг их действий. Компания вводит постоянную процедуру расследования инцидентов, в рамках которой сотрудники смогут передавать сведения о потенциальных угрозах командам безопасности. В OpenAI отмечают, что отрасль пока недостаточно надежно контролирует поведение ИИ-моделей для безопасного наращивания их возможностей.