Сбер и ВШЭ представили нейросеть для распознавания эмоций и черт личности

Специалисты Центра практического ИИ Сбера совместно с коллегами из НИУ ВШЭ и Санкт-Петербургского ФИЦ РАН разработали мультимодальную нейросеть, которая анализирует поведение человека по видео, голосу и тексту. Результаты опубликованы в журнале IEEE Access. Об этом сообщает портал Lenta.ru.

Модель одновременно определяет эмоции, оценивает видимые черты личности и выявляет амбивалентность — противоречивость или неуверенность в поведении. Для обучения использовались несколько разнородных корпусов данных, размеченных под разные задачи, а вычисления проводились на суперкомпьютере НИУ ВШЭ «Харизма».

Научный директор Центра практического ИИ Сбера Андрей Савченко отметил, что учет данных о личности и амбивалентности заметно улучшил распознавание эмоций на незнакомых данных. При этом он подчеркнул, что до универсального эмоционального ИИ еще далеко: многозадачное обучение не всегда превосходит специализированные модели, а также остаются этические вопросы.

Доцент НИУ ВШЭ — Санкт-Петербург Дмитрий Рюмин пояснил, что объединение нескольких корпусов позволило модели лучше переносить знания на новые данные. Руководитель проекта Елена Рюмина добавила, что для оценки черт личности особенно важно видео, а для выявления амбивалентности — содержание речи.

В ходе экспериментов дополнительные данные повысили точность распознавания эмоций примерно на 6%, оценку черт личности — на 3,2%, а многозадачность улучшила работу с новыми данными на 13,7%. До конца 2026 года планируется повысить адаптивность модели и внедрить нейросетевых экспертов, которые будут учитывать разные модальности в зависимости от задачи.