Ученые нашли способ обучать нейросети на нестандартных чипах

Исследователи из Института AIRI, Центра квантовых технологий Сбербанка и Сколтеха представили метод astralora, который позволяет обучать гибридные модели ИИ на альтернативных вычислителях, включая фотонные, нейроморфные и аналоговые чипы. Такие устройства считаются потенциально более быстрыми и энергоэффективными для выполнения базовых операций нейросетей. Подробности сообщил представитель Института AIRI изданию CNews. Данную информацию сообщает портал CNews.

Стандартное обучение нейросетей опирается на метод обратного распространения ошибки, когда после каждого ответа сигнал проходит через все слои, показывая, как скорректировать параметры. Однако если один из слоев работает как «черный ящик», доступ к его внутренним градиентам отсутствует, и вычисления становятся невозможными. Разработанный алгоритм решает эту проблему.

Подход строится на двух этапах. Сначала параметры вычислительного модуля слегка меняются случайным образом, и по реакции системы определяется нужное направление корректировки. Затем для передачи сигнала об ошибке цифровым слоям создается компактная суррогатная модель, которая приближенно описывает работу устройства. Пока модуль выполняет основную задачу, суррогат помогает провести обратный сигнал и обновляется под текущее состояние «черного ящика».

Эксперименты провели на шести цифровых моделях фотонных вычислительных слоев — от матричных умножителей до интерферометров Маха-Цендера. Проверка охватила три области: классификацию изображений на наборе CIFAR-10, распознавание городских звуков на UrbanSound8K с архитектурой ECAPA-TDNN и языковое моделирование на трансформере типа GPT-2 с 417 миллионами параметров.

Результаты показали, что для обучения гибридной сети не требуется точное знание внутренних процессов каждого компонента. Наблюдений за реакцией устройства на случайные изменения в сочетании с адаптивной суррогатной моделью достаточно, чтобы модель продолжала обучаться и достигала результатов, близких к полностью цифровым аналогам. Код исследования опубликован в открытом доступе.

По словам Андрея Черткова, старшего научного сотрудника группы «Вычислительный интеллект» Института AIRI, в будущем такие гибридные системы могут применяться в крупных дата-центрах для обучения больших моделей и в устройствах с жесткими требованиями к скорости и энергопотреблению, например при обработке сигналов с сенсоров, в компьютерном зрении и телекоммуникациях. Наиболее реалистичный сценарий — выполнение тяжелых математических операций физическим ускорителем при цифровой обработке остальной части.

Станислав Страупе, научный руководитель Центра квантовых технологий Сбербанка, отметил, что активно развиваются специализированные вычислительные устройства для ИИ с разнообразными физическими воплощениями — от нейроморфных систем до фотоники. Предложенный алгоритм позволяет использовать такие устройства вместе с цифровой электроникой в гибридных системах и обучать на них модели без потери качества.