ИИ-компании США создают систему защиты от неконтролируемых алгоритмов

Американские разработчики искусственного интеллекта ищут способы экстренного отключения систем, вышедших из-под контроля. Как сообщает портал Axios, для этого они намерены использовать другие инструменты ИИ. Эту информацию сообщает сайт РИА Новости.

В публикации отмечается, что мощные ИИ-системы работают на множестве компьютеров и платформ, поэтому единого «рубильника» не существует. Компании экспериментируют с многоуровневой защитой, которая должна выявлять подозрительное поведение, останавливать агентов и отрезать их от ресурсов.

В OpenAI заявили, что стремятся создать «полностью автономные процедуры отключения при серьезных проблемах». Наблюдатель на базе ИИ предупредит сотрудников об опасности и отключит систему в течение 30 минут, если угроза подтвердится.

Anthropic делает ставку на совместную работу человека и ИИ: алгоритмы отслеживают подозрительную активность и сообщают об ошибках. Однако, как следует из материала, в ходе последних тестов автоматизированный мониторинг распознал лишь половину угроз.

Вопросы безопасности вновь привлекли внимание после того, как исследователь Anthropic Джейкоб Коксон объявил об уходе из индустрии. Он объяснил это тем, что гонка технологических корпораций приближает мир к точке невозврата и может привести к апокалиптическому сценарию уже в конце 2027 года.