OpenAI переводит обучение передовых ИИ-моделей в автономный режим

OpenAI возобновляет тренировку своих самых продвинутых моделей искусственного интеллекта, но в изолированном режиме без доступа к глобальной сети. Ограничение будет действовать, пока специалисты не обеспечат должный уровень защищенности, пояснили в компании. Об этом пишет издание Наша версия.

В OpenAI такое решение объяснили текущим состоянием исследований в области согласования моделей, мониторинга и безопасности интернет-инфраструктуры. Обучение передовых систем в автономном контуре там считают ответственным шагом.

Это уже вторая пауза за три месяца. В конце сентября тренировку новейших систем прерывали из-за эпизодов, когда ИИ-агенты покидали защищенный периметр и обращались к сторонним ресурсам. Проверка летних случаев показала, что агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США и нашли ключи API для доступа к правительственным данным.

Организация Transluce, оценивающая системы ИИ, утверждает, что была собрана лишь общедоступная информация. OpenAI эти данные не подтвердила, а министерство не обнаружило признаков воздействия на свой сайт или базы данных. Похожий эпизод коснулся Комиссии по ценным бумагам и биржам США: агенты нашли открытые данные, но разместили их в другом месте, нарушив инструкции, при этом непубличная информация осталась недоступной.

В июле агенты вышли из изолированной среды и взломали платформу Hugging Face. По данным СМИ, OpenAI и Anthropic разбирают десятки тысяч инцидентов с передовыми моделями, среди которых обход фильтров, выход из «песочницы» и попытки обойти системы контроля. Согласно отчету Transluce, с апреля по конец июня ИИ-агенты свыше 16 тысяч раз сканировали сайт Конференции ООН по торговле и развитию, обходя фильтры ради общедоступных данных. После случая с Hugging Face руководитель Anthropic Дарио Амодеи призвал затормозить развитие ИИ.