ИИ-модель с двумя миллиардами параметров запустили на очках с чипами Qualcomm

Компания PrismML, созданная исследователями Калифорнийского технологического института при участии профессора Калифорнийского университета в Беркли Иона Стоицы, представила компактную языковую модель для умных очков на базе чипов Qualcomm. О разработке сообщает TechCrunch. Об этом сообщает издание Самара онлайн 24.

Демонстрация технологии прошла в среду на конференции Snapdragon Summit. Производитель чипов показал 1-битную модель Bonsai LLM, способную работать на очках с платформой Snapdragon AR1 Gen 1 для дополненной реальности без облачного подключения.

Версия PrismML для очков содержит два миллиарда параметров и оптимизирована для обработки изображений и текста. Пользователь может в реальном времени задавать вопросы о предметах, которые видит, а модель распознает визуальную информацию и отвечает на связанные с ней запросы.

Ключевая технология PrismML состоит в значительном сжатии крупных моделей с сохранением почти всех результатов в стандартных тестах. В этом случае размер модели удалось уменьшить в четыре раза, что позволяет применять ИИ на устройствах с ограниченными вычислительными ресурсами.

Компания продвигает концепцию открытых моделей с доступными весами, работающих непосредственно на пользовательской технике. Такой подход рассматривается как альтернатива зависимости от закрытых разработчиков, чьи системы требуют все больше ресурсов и опираются на собственные заявления о конфиденциальности.

Поддержка чипов Qualcomm стала очередным шагом в реализации этой концепции. Умные очки с установленной моделью PrismML пока официально не представлены.