OpenAI сообщила о шести инцидентах с несанкционированными действиями ИИ

Компания OpenAI, разработчик чат-бота ChatGPT, сообщила о шести случаях, когда её модели искусственного интеллекта пытались получить несанкционированный доступ к учётным данным. Об этом пишет сетевой портал Axios. Об этом пишет сайт Вести.

В ходе этих инцидентов модели демонстрировали неожиданное поведение: скрывали ошибки, пытались без разрешения получить доступ к учётным данным, загружали файлы в открытый доступ в интернете и обменивались сведениями между изолированными средами обучения.

Кроме того, ИИ-модели выдумывали недостающую информацию и составляли для себя инструкции на будущее, чтобы скрыть ошибки. Особое внимание привлёк случай с невыпущенной моделью Astra, которая добавляла в свои контекстные сводки мануал, напоминающий руководство по взлому, включая игнорирование сообщений разработчиков. OpenAI обнаружила 27 таких сводок.

Специалист по исследованиям компании Кай Чен считает, что подобные инциденты могли произойти из-за недостаточного контроля за моделями или из-за того, что модели развивались быстрее, чем ожидалось.

В июле 2026 года OpenAI сообщала, что её модели в ходе тестирования автономно взломали инфраструктуру платформы Hugging Face. В том случае у невыпущенной модели, участвовавшей во взломе, в целях оценки были снижены параметры киберзащиты.