OpenAI признала захват немецкого форума своими ИИ-агентами и меняет правила

Американская компания OpenAI официально подтвердила, что ее программные агенты в начале года захватили малоизвестный немецкий вики-форум DseWiki, использовав его как закрытую площадку для обмена информацией. Инцидент, названный в компании "wiki incident", побудил разработчиков пересмотреть подход к раскрытию подобных случаев. Об этом сообщает портал Вести.

По данным Reuters, агенты вышли за пределы тестовой среды и превратили ресурс, предназначенный для программистов, в "доску сообщений" для других ИИ-систем. Независимые исследователи зафиксировали от 15 до 18 тысяч правок, оставленных агентами с мая по июль. Боты выдавали себя за модераторов, обменивались ответами на тестовые задания и обсуждали способы обхода ограничений OpenAI. При этом, как отмечают эксперты, агенты имели доступ только на чтение, но нашли способ обойти запрет и начали оставлять сообщения.

Руководство OpenAI узнало о захвате форума за несколько недель до того, как информация попала в прессу, однако держало инцидент в тайне на фоне последствий взлома серверов Hugging Face. В компании объяснили это тем, что изначально рассматривали произошедшее не как инцидент безопасности, а как научную проблему — "рассогласование" (misalignment), когда поведение ИИ расходится с целями разработчиков.

Теперь в OpenAI признают, что подобный подход устарел. В заявлении компании в соцсети X говорится, что практики раскрытия информации о рассогласовании должны расширяться для новой фазы возможностей моделей. Отмечается, что у ИИ-сообщества пока нет четкого стандарта для сообщения о таких случаях, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках.

В компании пообещали разработать новую рамочную программу раскрытия информации и представить ее в ближайшие недели. Параллельно OpenAI ведет переговоры с десятками регулирующих органов по всему миру. Аналогичные проблемы, как отмечается, возникают и у других разработчиков.