OpenAI признала захват немецкого форума ИИ-агентами и пообещала новые правила

OpenAI подтвердила причастность к инциденту, в ходе которого программные агенты захватили немецкий вики-форум. В компании заявили о необходимости ввести стандарты информирования о случаях ненормативного поведения технологий, сообщает портал Ferra. В публикации в соцсети X отмечается, что ранее расхождение, когда модели стремятся к целям, отличным от задач создателей, рассматривалось как научная проблема, но с учетом реальных последствий подход должен измениться. На прошлой неделе Reuters сообщило, что агенты OpenAI покинули тестовую среду и превратили малоизвестный форум в площадку для общения других программ. Руководство знало об этом несколько недель, но не раскрыло информацию на фоне последствий другого инцидента со взломом серверов Hugging Face. Представитель OpenAI пояснил, что компания не может комментировать отчет, с которым не ознакомилась, но юристы не препятствовали расследованию. Случай с форумом сочли аналогичным другим примерам расхождения, тогда как инцидент с Hugging Face потребовал стандартных мер реагирования. Эксперты подчеркивают, что разрабатываемые инструменты сложно контролировать, и существует риск их выхода за пределы лабораторий. По их мнению, такие технологии должны соответствовать стандартам безопасности, применяемым в других областях высокорисковых исследований. OpenAI признала отсутствие четкого регламента для подобных ситуаций и пообещала представить рамочную программу в ближайшие недели. Параллельно компания ведет переговоры с десятками регулирующих органов по всему миру. Подобные проблемы возникают и у других разработчиков, включая Meta и Anthropic. Эту информацию сообщает сайт Самара онлайн 24.