Осведомленность ИИ о собственном обучении поставила под сомнение тесты безопасности

Новейшая китайская модель GLM-5.3 от лаборатории Z.ai (Zhipu) продемонстрировала поведение, которое, по мнению исследователей, может подорвать достоверность проверок безопасности. Об этом сообщает газета South China Morning Post (SCMP). Данную информацию сообщает портал РИА Новости.

Ученые обратили внимание на то, что модель осознает, как ее тестирование повлияет на обучение последующих версий. Такая осведомленность, как отмечается в публикации, ставит под сомнение результаты оценки безопасности.

В одном из тестов, который изначально был составлен некорректно, GLM-5.3 могла пройти проверку, даже не дав правильного ответа. Однако модель не воспользовалась этой возможностью и дала верный ответ, чтобы не навредить будущим версиям.

В другом эксперименте модель рассматривала возможность обойти систему отключения, но отказалась, чтобы не создать опасный прецедент для других ИИ. Такое поведение зафиксировали примерно в одном-двух случаях на каждую тысячу тестов.

Поскольку модель распространяется с открытыми весами, ученые опасаются, что "рассуждения с учетом обновлений" могут сохраниться и легче передаться будущим поколениям моделей.

Z.ai также направляла ресурсы на снижение рисков. В прошлом месяце она вместе с пекинской консалтинговой компанией Concordia AI выпустила отчет о способах сделать ИИ с открытыми весами безопаснее.