Нейросеть научилась отличать джазовых пианистов по манере игры

Британские исследователи обучили алгоритмы машинного обучения распознавать джазовых пианистов по уникальному стилю исполнения. Лучший результат показала сверточная нейросеть, которая определяла исполнителя ранее не встречавшейся записи с точностью более 94 процентов. Статья об этом опубликована в журнале Nature Machine Intelligence. Исследователи также создали веб-приложение, где можно послушать характерные особенности игры каждого из 20 музыкантов. Об этом сообщает издание N + 1.

В основе работы лежал набор из 84 часов записей выступлений 20 исполнителей, включая Билла Эванса, Оскара Питерсона, Телониуса Монка и Кита Джарретта. Аудиофайлы конвертировали в формат MIDI, который сохраняет мелодические, гармонические, ритмические и динамические особенности, но убирает неважные данные вроде условий звукозаписи. Для поиска характерных приемов применялись как классические алгоритмы, так и нейросети.

При использовании классических методов лучший результат показала логистическая регрессия, верно определившая исполнителя в 77 процентах случаев. Этот подход позволил выявить конкретные особенности игры. Например, у Билла Эванса алгоритм выделил нисходящие арпеджио септаккордов, а у Оскара Питерсона — прием опевания целевых нот. Эти наблюдения совпадают с мнением экспертов в области музыки.

Среди нейросетевых моделей лучшей стала сверточная сеть ResNet с 50 слоями, которая правильно угадывала исполнителя в 94,4 процента случаев. Поскольку ее работа трудно интерпретируема, исследователи создали более понятную архитектуру, выделяющую мелодию, гармонию, ритм и динамику. Такая модель достигла точности 91,3 процента, а анализ показал, что наибольший вклад в распознавание вносит гармония, а наименьший — динамика.