YuE2 是一套以 Python 使用的音乐生成项目:可先生成或导入可编辑的旋律与和弦谱,再合成为包含人声和伴奏的歌曲,并支持翻唱与谱面修改。
项目做什么
项目旨在把符号化作曲计划与音频生成结合起来。用户可输入歌词和风格描述,由模型规划旋律与和弦并生成完整歌曲;也可提供 ABC 谱,或先用 SheetSage2 转录录音,再将谱面用于新风格翻唱与修改。
与同类方案相比
生成流程分为计划、语义生成、合成和解码等阶段,并可保存谱面、语义 token、声学潜变量、设置及模型信息,便于检查中间结果和复用计划。README 还提供 Python 接口、命令行示例、翻唱与编辑指南,以及在线体验入口。
设计与创新
项目强调以显式旋律和和弦谱作为生成及人工或代理编辑的接口,并在同一生成检查点下支持新歌、翻唱和谱面修改。其介绍的架构结合自回归与非自回归 Transformer、流匹配和 VAE 解码;这些属于 README 的技术描述,尚不能仅凭该页面独立验证其创新性或相对优势。
适用场景
适用场景包括根据歌词和风格提示制作歌曲、为既有旋律尝试新的编曲风格、检查并修改和弦或旋律,以及借助代理整理多版创作。项目还描述了器乐生成与录音转谱流程;翻唱可选择保留旋律并让伴奏适应目标风格。
谁会受益
对于希望控制歌曲结构而不只输入文本生成音频的创作者,显式谱面和分阶段产物提供了可查看、可修改的工作入口。研究或开发者可参考仓库示例接入 Python 流程并查看基准协议;无需本地安装者可使用 README 链接的在线演示,但服务可用性未在此验证。
使用前需要注意
本地快速开始要求 Linux、Python 3.12、支持 BF16 的 NVIDIA GPU 和 24 GB 显存,模型首次运行还需下载文件。谱面修改会重新生成完整录音,不能保留原波形中未编辑部分;代理工作流仍需听辨检查。README 中的基准结果和领先表述依赖其测试设置,不能据此推断所有指标、场景或版本均占优,许可证信息也未在所给内容中说明。
本文基于抓取时的项目 README 和仓库简介整理;功能、限制与文档可能随项目更新而变化。