Российские ученые научили ИИ переносить объекты на новые фоны

Специалисты МФТИ, Высшей школы экономики и Института системного программирования имени В.П. Иванникова РАН создали алгоритмы, которые заставляют генеративные нейросети точнее выделять объекты на изображении и сохранять их индивидуальные черты. Об этом сообщают «Известия». Об этом сообщает издание Известия.

В основе большинства современных генеративных моделей лежат диффузионные алгоритмы. Они последовательно добавляют в картинку случайные помехи, а затем шаг за шагом их убирают, одновременно внося элементы из текстового запроса. При обучении на нескольких фотографиях такой подход работает хорошо, но если исходник всего один, модель нередко копирует не только нужный объект, но и лишние детали окружения.

Как объяснил один из разработчиков, магистрант кафедры алгоритмов и технологий программирования МФТИ Максим Фофанов, при малом числе примеров модель усваивает не суть объекта, а случайные детали. По его словам, новый метод опирается на то, что малые шумы отвечают за тонкие черты образа — текстуру шерсти, форму носа, цвет глаз, — а большие отражают общую схему расположения элементов. Ученые математически сместили распределение вероятностей в пользу малых шумов, и модель стала запоминать больше деталей, связанных с идентичностью объекта.

Фофанов уточнил, что метод почти не требует дополнительных вычислительных ресурсов: не нужны ни лишние проходы через сеть, ни новые параметры модели, ни дополнительная память. Меняются только распределение шагов и весовой коэффициент. Тестирование разных режимов показало, что технология повышает редактируемость — способность нейросети откликаться на новые текстовые запросы и помещать объект в неожиданные контексты, сохраняя качество воспроизведения.

Предложенный код можно встроить в любую существующую систему. По данным разработчиков, это позволит выполнять продвинутый ИИ-дизайн на ноутбуках и смартфонах, а также расширит возможности серверов генерации изображений.

Главный редактор IT-World.RU и журнала IT Expert Андрей Виноградов отметил, что сервисы вроде Nano Banana при работе с одним исходником страдают от меморизации контекста: объект «срастается» с окружением, и на новый фон вместе с лицом переносятся тени. Попытки избавиться от этих эффектов стирают индивидуальные черты. По его мнению, зарубежные разработчики продвинулись в этих направлениях далеко, но гонка за лидерами — провальный путь, поэтому российским специалистам нужно искать решения для собственных конкурентоспособных продуктов.

Руководитель Центра искусственного интеллекта Сибирского федерального университета Анна Пятаева назвала одно из главных преимуществ таких решений — доступность. Небольшая компания сможет создавать рекламные материалы без огромных бюджетов, дизайнер — за минуты проверять десятки идей, а обычный человек — реализовывать творческие замыслы, для которых раньше не хватало навыков или денег.

Эксперт по защите информации, руководитель пресс-службы компании «Код Безопасности» Андрей Горячев указал, что инструменты быстрой генерации изображений дают возможность фабриковать фейки и поддельные материалы, способные нанести вред людям и организациям. Для обнаружения признаков ИИ-генерации, по его словам, используют те же нейросети: они анализируют метаданные, ищут артефакты моделей, выявляют неестественные движения и аномалии в анатомии, пейзажах и интерьерах.

Научный сотрудник группы «Контролируемый генеративный ИИ» лаборатории FusionBrain Института AIRI Вера Соболева отметила, что управлять генерацией «только голосом» на практике удается редко — обычно требуется несколько этапов доработки, поэтому это все еще ремесло, а не «волшебная кнопка». В будущем технологии, вероятно, позволят напрямую превращать мысли в изображения или видеоряд, но главная сложность не в генерации, а в считывании данных: ИИ пока не умеет расшифровывать сигналы мозга.