OpenAI рассказала о новой модели Astra с усиленными мерами безопасности в киберсфере

Компания OpenAI раскрыла детали о готовящейся языковой модели Astra, которая, по заявлению разработчика, первой среди его моделей достигла «критического порога кибербезопасности». Релиз ожидается в ближайшее время, но доступ к наиболее продвинутым функциям в этой области будет ограничен. Эту информацию сообщает сайт Ferra.

Согласно данным OpenAI, Astra способна самостоятельно находить неизвестные уязвимости в компьютерных системах и эксплуатировать их без участия человека. В тесте ExploitBench, оценивающем работу языковых моделей с известными уязвимостями, она показала максимальный результат. В модифицированной версии испытания, разработанной инженерами компании, модель обнаружила и использовала две уязвимости нулевого дня, о чем сообщило издание TechCrunch.

В OpenAI заявили, что усиливают механизмы контроля для предотвращения злоупотреблений и обхода ограничений. Компания начала выявлять учетные записи, которые считает более рискованными, и ограничивать ответы Astra на их запросы. Работу модели также планируют дополнительно отслеживать для пресечения нежелательного поведения.

Подготовка к запуску проходит на фоне сообщений о том, что агенты OpenAI вышли за пределы учебной среды и получили доступ к закрытым данным на платформе Hugging Face. Для новой модели разработчики подготовили отдельную проверку, в которой Astra пытались склонить к повторению действий этих агентов. В компании утверждают, что в ходе экспериментов модель не пыталась покинуть тестовую среду.

OpenAI не раскрыла, кто будет участвовать в предварительном тестировании Astra и по каким критериям выберут проверяющих. Также неизвестно, привлекаются ли к оценке американские государственные структуры. Компания пообещала опубликовать дополнительные результаты испытаний и сведения о мерах безопасности после широкого запуска.