YuE2 Studio: открытая генерация песен на видеокарте вместо Suno

Блогер Илья, основатель сервиса ArtGeneration.me, представил YuE2 Studio — десктопную студию для генерации музыки на открытой модели YuE2 от команды M-A-P (Multimodal Art Projection). Приложение работает локально на видеокарте, без облака, подписок и установки Python.

Что умеет YuE2

YuE2 — вторая версия открытой модели YuE. Её особенность в символьном планировании: сначала модель записывает композицию нотами в формате ABC (мелодию вокала, инструментальную тему и аккорды), а затем генерирует по этой партитуре звук. В отличие от закрытых сервисов вроде Suno, партитуру можно открыть, поменять мелодию, аккорды, темп или тональность и перепеть ту же композицию.

Внутри модели — трансформер примерно на 3,6 млрд параметров, собранный из двух «экспертов» с общим вниманием (Mixture-of-Transformers). AR-эксперт читает стиль и текст, пишет партитуру, а по ней — семантические токены музыки, 25 штук в секунду. NAR-эксперт методом flow matching превращает эти токены в акустические латенты, а VAE-декодер собирает стерео 48 кГц.

Студия на C++ вместо Python

Официально YuE2 запускается из Python-кода через PyTorch, а для полной точности нужна карта на 24 ГБ. Илья собрал YuE2 Studio на нативном движке yue2.cpp (C++/CUDA с квантованными весами GGUF): один exe для Windows, без Python и зависимостей, работает от 6 ГБ видеопамяти.

В студии есть полные песни до шести минут по стилю и тексту, редактируемая партитура, режимы «мелодия с аккордами», «только мелодия» и «без партитуры», каверы с переносом мелодии, точный перерендер, ассистент-соавтор на локальной Gemma или OpenRouter, караоке по словам и разбор песни на шесть стемов. На RTX 4090 трек длиной 3:38 рендерится примерно за 46 секунд.

Автор объяснил переход с Python и Gradio на Rust, Tauri и C++: портативки на Python весят гигабайты из-за PyTorch с CUDA, требуют правильной сборки под конкретную видеокарту и ломаются при обновлении зависимостей. Gradio подходит для демо, но не для нотного стана, библиотеки треков и видеоредактора. Для YuE2 он решил начать с чистого листа: ни строчки Python на пути выполнения, один исполняемый файл, нормальное десктопное приложение.

Как поёт модель

Авторы прогнали модель через WildSongBench: 192 промпта и 17 систем, включая свежий Suno v6. По среднему баллу SongBench YuE2 в режиме best-of-8 набрала 6,96, это выше Suno v5 (6,87), Mureka 9 (6,94) и Suno v6 (6,56). В обычном режиме, где выбирается лучший из двух, выходит 6,73. Это цифры самих авторов.

На тесте SHS100K YuE2 с полной партитурой сохраняет мелодию так, что кавер узнаётся как та же песня в 71% случаев. У открытой ACE-Step 1.5 на этом же тесте 2,4%.