你有没有在音乐生成App里打过这样一行字:"来一首深夜东京街头感的City Pop,带点Yorushika那种忧郁"。
AI确实给你生成了一首歌,吉他清脆,鼓点工整,听起来也挺像那么回事。但你总觉得哪里不对,好像少了点什么说不清的东西。是节奏不对?是编曲太满?还是那种"深夜感"压根就没出来?
你说不清楚,AI系统自己更说不清楚。因为现在几乎所有的音乐生成评测,给出的都是一个笼统的分数,比如"这首歌和你的描述匹配度是85分"。这个分数听起来挺权威,但它完全没告诉你,到底是哪个部分没对上。是乐器选错了,是情绪没到位,还是那个你提到的"Yorushika风格"根本没被理解?
这就是一篇来自山东大学、中国科学技术大学、中央音乐学院、昆仑万维和上海交大的研究团队想解决的问题。他们给这个问题起了个挺贴切的名字:音乐意图对齐。
一分笼统的分数,到底漏掉了什么
先说说现在的评测体系为什么不够用。
目前业界常用的评测手段,要么是
**FAD(Frechet音频距离)**:一种衡量生成音频和真实音频在统计分布上像不像的指标,和具体某一首歌的内容对不对没关系
要么是
**CLAP分数**:通过把文字和音频都转成同一个数学空间里的向量,然后算两者有多接近,来衡量文字和音频语义上搭不搭
这两种方法的共同问题是,它们给出的都是一个全局的、笼统的相似度数值。打个比方,这就像你去餐厅点了一份"少盐少油的宫保鸡丁",服务员端上来一盘宫保鸡丁,你尝了一口说"嗯,像是宫保鸡丁",但他压根没告诉你,这盘菜到底是不是少盐了,油是不是真的少了。你要的是具体每一项要求有没有被满足,而不是一个模糊的"像不像"。
如果继续用这种笼统打分的方式,会出现什么后果?一首歌可能整体分数很高,因为旋律好听、制作精良,但偏偏漏掉了你明确要求的乐器,或者完全没抓住你提到的那个参考作品里最关键的味道。这种漏洞,笼统分数是发现不了的。
近些年也有研究尝试把评测做得更细,比如把音频指令拆解成一个个可以验证的问题,用问答的方式去逐条核对。但这些方法大多是为通用音频设计的,关注的是声音语义和指令执行,并没有真正针对音乐这个领域里专家会在意的那些细节,比如和声走向、结构发展、情绪推进这些东西。
研究团队的做法是把"对不对味"这件事,彻底拆解开来评分。
把一首歌的要求拆成一张清单
研究团队提出的核心思路是,把每一个用户请求,转化成一份专属的、可以逐条核查的音乐需求清单,这份清单被称为
**音乐评分准则(Musical Rubric)**:针对某个具体请求量身定制的一组需求条目,每一条都能独立地从生成的音频里被判断出满足与否
这份清单分成两部分。
一部分叫
**显性需求(Base)**:直接由请求文本写明的要求,比如"要有钢琴"、"节奏要快"
另一部分叫
**隐性意图(Completion)**:请求里没有直接写出来,但通过引用的艺术家、使用场景、上下文暗示出来的音乐特质,比如你说"要有Yorushika那种感觉",这背后就隐含着某种特定的编曲风格、情绪基调和人声处理方式,需要被显性地挖掘出来
这就好比你去裁缝店做一件衣服,你说"我要件秋天穿的外套,有点复古学院风"。显性需求是你明确说的"外套""秋天穿",隐性需求则是"复古学院风"背后那些具体的东西,比如粗花呢面料、格纹图案、窄版剪裁。如果裁缝只按照字面的"外套"去做,不去琢磨"复古学院风"具体意味着什么,做出来的衣服肯定不是你想要的。如果不把这些隐性的东西挖出来讲清楚,你和裁缝之间永远在鸡同鸭讲。
基于这个思路,团队构建了一个公开的评测基准,叫做
**MuRA-Bench**:一个包含100条真实世界音乐生成请求的评测基准,这些请求来自Mureka音乐平台上匿名收集的用户意图,经过三位音乐专家人工审核和修订
这100条请求里,有68条是纯器乐的,32条带人声,总共包含1566条评分条目,平均每条请求有15.66个需求点。这些条目被归到七个音乐维度里:风格、乐器与人声、情绪、节奏、和声与旋律、结构与能量、制作与音色。
这个基准的构建过程挺讲究。先是用一个大语言模型,根据用户请求草拟出一份需求清单,区分哪些是显性的、哪些是隐性补全的。然后交给音乐专家逐条审核,删掉站不住脚的猜测,补上遗漏的约束,把具体的艺术家名字转化成可以被听觉验证的通用音乐特征,而不是直接拿来当模仿目标。这里有个细节值得一提,专家特意强调,像"要像周杰伦的歌"这种引用,不能直接变成"模仿周杰伦",而是要拆解成周杰伦音乐里那些可验证的具体特质,比如某种和弦进行方式、某种人声处理手法。这既是为了评测的可操作性,也顺带避开了一些版权上的敏感地带。
有了这份清单,怎么判断生成的音乐到底有没有满足每一条?
团队采用了一种叫做音频问答的方式,让一个专门针对音乐训练的大型音频语言模型
**MusicFlamingo**:一个专门针对音乐理解进行训练的音频语言模型,擅长识别和声、结构、音色这些专业度较高的音乐属性
去听每一首生成的歌,针对清单上的每一条,回答"是"或者"否"。但这里有个精巧的地方,团队没有简单粗暴地取"是/否"的二元判断,而是提取模型给出"是"和"否"这两个答案背后的置信度数值,算出一个0到1之间的连续概率值,这个数值既保留了模型判断的把握程度,又避免了简单设一个阈值导致的信息损失。
这种做法像什么呢?就像一个考官批改开放性的问答题,与其简单打对错,不如记录下考官"有多确信这个答案是对的"。如果只用对错二分,那些模棱两可、答得半对半错的情况就会被粗暴地归到某一边,丢失了很多有用的信息。
团队把这种打分方式和其他七种评测方案做了对比,包括直接让模型打五分制评分、先生成文字描述再交给文本裁判去判断、以及传统的CLAP分数等等。结果显示,这种基于音频问答和置信概率的打分方式,和人类专家的判断一致性最高,在各项指标上都领先其他方法。
光评测还不够,AI得学会改
评测只是第一步,发现问题之后呢?总不能让用户自己去改提示词,改了还不知道对不对。
这就是团队提出的第二个核心贡献,一个叫做
**MIRA(音乐意图优化智能体)**:一个在生成模型外部运行的智能体系统,它不改动模型本身的参数,而是通过反复生成、验证、修改提示词的方式,逐步逼近用户真正想要的音乐
它的设计思路建立在三个原则上。
第一个原则是把用户藏在心里没说出来的意图,转化成客观可核查的清单。这一步和前面讲的评分准则构建思路是一致的,但MIRA面对的是实时的用户请求,而不是预先准备好的测试集。
MIRA遇到含糊的引用或者场景描述时,会调用外部工具去查找相关信息。比如用户提到一个具体的使用场景"适合深夜独自开车听的歌",MIRA会调用
**场景到音乐映射工具**:把具体的使用场景或功能性描述,转化为可执行的音乐属性建议
去把这个场景翻译成具体的音乐特征建议。但这里有一道关卡,叫做
**证据门禁(Evidence Gate)**:只有具备可追溯来源、有支撑证据并且置信度达到一定阈值的外部信息,才会被采纳用于补全用户意图
如果工具给出的建议来源不明、证据不足,这条信息就会被直接丢弃,不会污染后续的生成过程。这一步的用意很明显,就是防止AI自己脑补出一堆用户根本没要求的东西,然后一本正经地按照这些臆想去生成音乐。
第二个原则是用树状搜索的方式,在探索和利用之间找平衡。
这里得先说说为什么要用搜索,而不是简单地生成一次、改一次。音乐生成本身是随机的,同一个失败的点,可能有好几种合理的修改方向。如果你只沿着一条路径死磕下去,很可能在修好一个问题的同时,把原本已经做对的地方给改坏了。
MIRA把整个优化过程组织成一棵
**搜索树(Search Tree)**:由多个节点构成的树状结构,每个节点代表一次具体的生成尝试,包含当时的提示词、生成的音频、验证结果和积累的反馈记忆
每一轮,系统会从已有的分支里挑出最有潜力的节点,同时生成几个不同方向的修改候选,分头去生成音乐、分头去验证,等这一层全部跑完之后,再统一比较,决定保留哪些、淘汰哪些。保留下来的节点,一个是综合得分最高的,另一个是专门针对那些得分垫底的需求条目表现突出的候选,这样既不放弃整体表现好的方向,也不会让某些顽固的薄弱环节一直被忽视。
这个过程特别像登山队规划路线。如果山上有好几条可能通往峰顶的小路,经验丰富的向导不会孤注一掷地只派一队人走一条路,而是分几队人沿不同路线往上探,走一段就互相通报情况,把走不通的路线淘汰掉,把有希望的路线留着继续派人深入。如果只派一队人走一条路,万一这条路半道是悬崖,整个计划就得从头来过,之前积累的经验也全部浪费。
搜索的预算是有限的,团队设定了两档,一档是紧凑模式,总共生成3次,一档是宽松模式,总共生成9次,这个数字包含最初的那一次生成。无论哪种模式,用的都是同一套搜索机制,区别只在于能跑的轮次多少。
第三个原则是给每一条搜索分支配上专属的记忆,而不是笼统地只记录最终那个最高分的结果。
这一步的巧妙之处在于,它不光记录一次修改相比上一版变好了还是变差了,还会把同一层里相互竞争的几个候选拿来横向比较,看看这个方向相对其他方向是强还是弱。团队给这套机制起的名字是
**树状结构反馈记忆(Tree-Structured Feedback Memory)**:沿着搜索树的分支路径记录每次修改带来的具体变化,包括和上一版本相比的进步或退步,以及和同一层其他候选相比的相对优劣
为了避免评测过程里一点点随机波动被误判成真实的变化,团队设了一个容忍区间,变化幅度在正负0.03以内的,都算作"没有实质变化",超出这个范围的,才会被记录成明确的进步或退步。
这套记忆系统带来的好处是,AI在提出下一轮修改建议时,不是凭空瞎猜,而是带着"这个方向之前试过,效果不好"或者"这个方向上次让某个需求点明显变差了"这样具体的经验去做决策。这就好比一个学生做错题集,不是简单记下"这道题做错了",而是写清楚"上次我是这么想的,结果错在哪里,下次遇到类似的要避开这个思路"。如果没有这种细致的错题分析,学生下次大概率还是会在同一个坑里再摔一次。
值得一提的是,不同分支之间的记忆是互相隔离的,一个分支不会看到另一个分支完整的提示词或者私有的尝试记录,这是为了保证搜索过程里各个方向能保持足够的多样性,不至于所有分支都抄同一个答案最后趋同。每次遇到一个新的用户请求,所有记忆都会清空重来。
实测效果:开源模型追上了商业大厂
说了这么多设计,到底管不管用?
团队在三个开源音乐生成后端上做了测试,分别是ACE-Step v1.5 Turbo、SongGeneration2 Large和YuE2-3B,同时拿了十个商业系统做对照,包括MiniMax的音乐模型、Mureka的V9和V9.5、StepAudio 3 Music,以及Suno从v4到v6的多个版本。
结果显示,在生成预算为9的宽松模式下,MIRA让ACE-Step的整体对齐得分提升了12.9%,让SongGeneration2提升了19.0%,让YuE2-3B提升了7.3%。这个提升不是昙花一现,无论是显性需求还是隐性意图,两个维度的得分都在提高。
更有意思的是商业系统之间的版本对比。Suno从v4到v5.5,整体对齐分数从73.6一路涨到81.9,v6稳定在81.8。这说明整个行业确实在往"更懂用户意图"这个方向努力,而不只是把音质做得更逼真。
最让人意外的一个结果是,YuE2-3B这个开源模型,搭配MIRA之后,整体对齐得分达到了82.1,比Suno v5.5这个当前最强的商业基准81.9还要高一点点。ACE-Step配上MIRA之后从67.6涨到76.3,超过了MiniMax音乐2.6的75.9分。
这个结果的分量不小。一个开源模型,单靠外部的搜索和反馈机制,没有改动模型本身一个参数,就追上甚至超过了商业巨头砸了大量资源训练出来的系统。这说明"意图对齐"这件事,光靠把生成模型本身做得更强不够,怎么用好反馈、怎么设计搜索策略,同样能带来巨大的提升空间。
团队还做了人工盲听评测,找专家在不知道哪个系统生成了哪首歌的情况下打分。结果显示,ACE-Step加上MIRA之后的评分,不管是整体意图、显性意图还是隐性意图,都明显高于原始的ACE-Step,而且超过了MiniMax music-3.0,虽然还没追上Suno v5.5。
团队还单独做了一个公平对比实验,用同样9次生成预算,比较MIRA和简单粗暴的"生成9次挑最好的一个"(Best-of-9)策略谁更有效。结果MIRA在ACE-Step上领先了3.6分,在YuE2-3B上领先了2.35分左右。这说明MIRA不只是靠"多试几次"取胜,它的搜索策略本身确实比盲目多次采样更聪明。
拆开来看每个部件的贡献,团队发现给Best-of-9加上工具补全意图这一步,就能让隐性意图得分从0.719提升到0.748。再加上自适应搜索,隐性意图继续涨到0.781。最后加上树状记忆,整体得分和分维度得分都达到最高。这就像搭积木,每加一块都踩实了,没有哪一块是摆设。
写在后面
读完这篇论文,有一个细节让人反复琢磨:团队特意强调了版本迭代的趋势,Suno从v4的73.6分涨到v5.5的81.9分。这个曲线放在那里,其实在悄悄说一件事,就是"听起来好听"和"听懂了你要什么",是两件正在分道扬镳又需要同时追赶的事情。过去大家默认音质越做越好,模型就越来越强,但这篇论文提醒我们,哪怕音质已经相当逼真,意图对齐依然是个独立的、需要专门下功夫的维度。这两条曲线不一定同步往上走。
另一个让人意外的地方是,研究者没有选择去重新训练一个更懂用户的生成模型,而是选择站在生成模型外面,搭了一套搜索和反馈的脚手架。这种思路挺朴素,有点像是承认了"现在的生成模型已经足够强,问题不在于它生成不出好音乐,而在于我们没有有效的方式告诉它哪里需要改"。这种对现有能力的信任,反而撑出了一个很大的改进空间。
还有一个点值得留意,团队把"引用某个艺术家"这件事拆解成可验证的音乐特质,而不是直接拿来当模仿目标。这个处理方式背后藏着一个挺现实的考量,既要尊重用户真实的审美需求,又要绕开直接复刻他人作品带来的版权争议。这种拆解本身,或许会变成未来AI音乐生成领域一个绕不开的通用做法。
如果你也试过用AI生成音乐,有没有遇到过那种"听起来还行,但就是不对味"的瞬间?你有没有想过,那个说不清楚的"不对味",其实是可以被拆解、被量化、甚至被一条一条修复的?
Q&A
Q1:MuRA-Bench是什么?
A:MuRA-Bench是一个包含100条真实世界音乐生成请求的评测基准,来自Mureka平台的用户意图,经过三位音乐专家修订,能够逐条核查生成音乐是否满足显性要求和隐性意图。
Q2:MIRA如何帮助AI生成更符合用户意图的音乐?
A:MIRA是一个外部智能体,不改动生成模型参数,而是通过工具补全意图、树状搜索生成多个候选、结合分支记忆反馈,反复优化提示词,逐步逼近用户真正想要的音乐效果。
Q3:开源音乐生成模型用上MIRA后效果如何?
A:实验显示YuE2-3B搭配MIRA后的整体对齐得分达到82.1分,超过了商业系统Suno v5.5的81.9分,证明开源模型借助合理的搜索优化策略也能媲美甚至超越商业大厂产品。







