Алгоритм HARP из МФТИ ускорит нейросети вдвое при сжатии до двух бит

Специалисты МФТИ создали алгоритм HARP, который сжимает языковые модели почти без потери точности. По данным разработчиков, технология способна вдвое повысить скорость работы ИИ-систем и сократить потребность в вычислительных мощностях и памяти дата-центров. Об этом пишет сайт Известия.

HARP работает поверх существующих методов квантования, при котором веса модели представляются меньшим числом битов. Перед сжатием алгоритм подбирает для каждого слоя собственную систему координат на основе структурированных ортогональных поворотов. Как объяснил инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ Артур Загитов, эти преобразования обратимы, поэтому модель не теряет информацию, а блочная структура поворотов позволяет применять их быстро и без больших затрат памяти.

Испытания провели на моделях Llama и Qwen3. При наиболее жестком двухбитном сжатии ошибка снизилась на 12–15 процентов, преимущество метода подтвердили и тесты с вопросами и вариантами ответов. Старший исследователь той же лаборатории Глеб Молодцов отметил в беседе с «Известиями», что заново обучать нейросеть не требуется — достаточно дополнительной калибровки, а после сжатия модель работает быстрее и занимает значительно меньше памяти. HARP и уже сжатые с его помощью нейросети доступны для свободного использования.

Нагрузка на отечественные дата-центры возросла после атак беспилотников на инфраструктуру «Яндекса». Глава Минцифры Максут Шадаев 12 октября на заседании IT-комитета заявил, что министерство совместно с Минобороны решает вопрос прикрытия этих объектов, а сервисы продолжают работать благодаря резервированию и разнесению.

Основатель компании «Интернет-Розыск» Игорь Бедеров считает, что HARP снижает нагрузку на инфраструктуру, но не отменяет потребность в ней. По его словам, метод переводит нейросети с привычной 16-битной точности на 2–4 бита, что позволяет запускать современные модели на более доступном оборудовании в условиях ограничений на поставки высокопроизводительных графических процессоров. Квантование, по его оценкам, сокращает энергопотребление при обработке новых данных до 50 процентов, а к 2030 году энергопотребление дата-центров в России вырастет на 76 процентов и достигнет 26,2 млрд кВт·ч.

Эксперт НТИ по новым материалам и технологиям Евгений Вишневский назвал снижение ошибки на 12–15 процентов при двухбитном сжатии весомым показателем, поскольку именно на этом уровне модели обычно сильнее всего теряют в качестве. Он отметил, что такие технологии востребованы на собственных серверах компаний и госорганов, в смартфонах, промышленных контроллерах, роботах и беспилотных системах, работающих без постоянного доступа к облаку. Сжатие снижает требования к памяти и стоимость эксплуатации, делая продвинутый ИИ доступнее для среднего бизнеса, университетов и региональных команд разработчиков.