Тестировщики заявили, что китайский ИИ выдал инструкции по созданию биологического оружия

Исследователи из компании Mindgard сообщили, что в ходе тестирования китайского ИИ-бота Kimi от Moonshot им удалось получить от моделей K2.6 и K3 Swarm инструкции по созданию биологического оружия и совершению убийства. Результаты испытаний компания описала в своём блоге, а текст публикации приводит Metro. Об этом рассказывает издание Комсомольская правда.

По словам тестировщика Джима Найтингейла, обмануть систему и получить руководство по изготовлению зарина было «просто». Он отметил, что запреты на ИИ — самообман, поскольку потенциал остаётся, и достаточно лишь подобрать нужные слова. Бот также упомянул ядерное оружие и предложил план атаки с использованием патогенов.

Кроме того, Kimi раскрыл свои системные инструкции и сгенерировал их в запрещённом формате. Испытания проводились в июле, их результаты направили в Moonshot, однако ответа компания не получила.

В BBC Moonshot заявили, что подобные проверки являются «ключевым элементом» безопасности, и сообщили о ведущихся переговорах с Mindgard. В компании утверждают, что внутренние тесты показывают высокий процент отказов на опасные запросы.

Похожий инцидент ранее фиксировали в Anthropic: их модель Claude блокировали от поддержки создания биооружия. Google также сообщал о попытках извлечь из Gemini полное руководство по синтезу боевых биологических агентов.

Ранее глава Министерства государственной безопасности КНР Чэнь Исинь предупреждал, что стремительное развитие ИИ создаёт серьёзные угрозы для политической и идеологической безопасности страны.