Наделла предложил «аварийный тормоз» для ИИ-моделей

Глава Microsoft Сатья Наделла выступил за создание механизма экстренной остановки систем искусственного интеллекта. Об этом он написал на своей странице в соцсети X. Об этом сообщает издание Ferra.

По его словам, при внедрении обычного программного обеспечения специалисты десятилетиями могли проследить работу системы вплоть до конкретного участка исходного кода. Современные ИИ-системы такой возможности не дают: понять, как именно модель принимает решения, с прежней точностью не получается.

Наделла сравнил предлагаемый механизм с аварийным тормозом. Уполномоченный человек, по его мнению, должен иметь возможность приостановить работу модели или отключить её прямо во время выполнения задачи. Изначально следует исходить из того, что модель может быть скомпрометирована, и заранее предусматривать способы её изоляции.

Для более совершенных моделей, отметил глава Microsoft, потребуются и более совершенные технологии сдерживания, которые необходимо стандартизировать.

Он также указал, что сейчас нельзя напрямую связать поведение модели и полученные результаты с конкретными данными, на которых она обучалась. При этом компании продолжают внедрять ИИ-агентов в собственные системы и давать им доступ к наиболее чувствительной информации.

Ранее эксперты журнала The Lancet предупредили, что человечество может исчезнуть к концу XXI века из-за ядерного конфликта или злонамеренного использования искусственного интеллекта. В частности, ИИ может быть применён для разработки биологического оружия.