你有没有过这样的经历：做音乐的时候，拿起自己的小样，再放一遍喜欢的那首参考曲，来回切换，想找出到底哪里不一样。
你听出副歌好像没那么有冲击力，但具体是什么原因，说不清楚。音量？混响？还是乐器编排的问题？你反复听，脑子里却越来越模糊，因为你得同时记住两首歌刚才听到的那个片段长什么样，这事儿比想象中难多了。
这正是新加坡科技设计大学和浙江大学的研究者们关注的问题。他们做了一个叫做Diptych的系统，想解决的不是"AI能不能听懂音乐"，而是一个更微妙的问题：当人和AI一起比较两首歌的时候，到底谁该做决定。
参考听音：一个被忽视的隐藏步骤
做混音和制作的人都知道一个基本套路，叫参考听音。
参考听音：指制作人把自己的作品和一首商业发行的成品歌曲放在一起反复对比，找出差距在哪里，然后决定要不要调整自己的作品。
这个习惯听起来简单，操作起来却很折磨人。两首歌几乎不可能完全对齐。一首歌的副歌可能在两分钟处出现，另一首歌的副歌可能三十秒就来了，长度也不一样，结构权重更是天差地别。
于是制作人要先做一个隐形的决定：这两段到底能不能比，该拿哪一段去对哪一段。这个决定本身，往往比接下来"听出差异"这一步还要难。
研究者们打了个比方，很贴切：你要判断两个句子谁写得好，前提是你得先确认这两个句子讨论的是同一件事。如果你拿一句描写风景的话去对比一句议论文的开头，无论你听得多认真，得出的结论都是错的。
更麻烦的是，这个对比过程特别依赖记忆力。你听完A曲的某一段，脑子里存一个印象，然后切到B曲对应的位置，拿记忆里那个逐渐模糊的印象去跟耳朵里正在响的声音做比较。心理学研究早就指出，听觉记忆一旦脱离了新鲜的感官痕迹，就会变得脆弱，越往后越不准。
这就是为什么现有的很多参考对比工具，比如常见的响度分析、频谱对比插件，用起来总觉得差点意思。它们大多工作在整曲层面，告诉你这首歌和那首歌的整体响度、频率分布不一样，却没办法回答"我副歌对你副歌，到底差在哪"这种更具体的问题。
想象一下，你让一个工具帮你比较两份合同，它只会告诉你"合同A总共3000字，合同B总共3500字"，却不会告诉你第五条违约金部分写得不一样。这种整体层面的信息固然有用，但解决不了你真正想知道的问题。如果没有办法让用户自己圈定对比范围，工具就只能替你做了那个最关键的决定：比什么。而这恰恰是人最该自己把关的地方。
Diptych想做的，就是把"比什么"这个决定权留给人，把"读懂差异"这件事交给AI来辅助。
两种对比模式：整曲看全局，片段抠细节
Diptych设计了两种工作模式，分别对应制作人在不同阶段的需求。
第一种叫整曲对比模式。这个模式下，系统把两首完整的歌曲拿来比，给出一个全局性的特征表和AI生成的总结。这适合回答那种宏观问题，比如两首歌的响度差多少、节奏感觉有什么不同、调性走向差异在哪。
但整曲对比有个天然的盲区：如果一首歌整体偏安静，但副歌突然炸开，那这种"局部突变"很容易被平均数据掩盖掉。
这就引出了第二种模式：用户自选片段对比。
系统会先把每首歌按照音乐结构自动切分成若干段落，比如前奏、主歌、副歌、桥段、尾奏，用不同颜色标在时间轴上，方便用户快速找到想比较的部分。
关键的设计是，用户在两首歌里选片段的时候，完全是独立的，互不干扰。你可以拿A曲的副歌对B曲的副歌，也可以拿A曲的主歌对B曲的副歌，只要这是你认为该比较的东西。系统不会替你配对，也不要求两段时长一致、位置一致。
这个设计背后藏着一个朴素但容易被忽视的道理：音乐结构从来不是标准化的。
打个比方，这就像两家餐厅的菜单对比。甲餐厅的招牌菜在第三页，乙餐厅的招牌菜偏偏排在第一页，你总不能因为页码对不上就说这俩餐厅没法比较招牌菜。真正该做的事，是你自己翻到各自的招牌菜那一页，然后放在一起看。如果系统非要按页码硬凑，那你永远比不出真正想知道的东西。
选好两段之后，系统会重新计算特征对比，并生成一段针对这个特定片段配对的AI解读。你可以反复切换选段，探索不同的配对组合，结构切分帮你快速定位，但"哪两段该放一起看"，这个决定始终留在你手里。
八大维度：为什么不用一个笼统的"相似度分数"
很多类似工具图省事，最后给你吐出一个相似度分数，比如"这两首歌相似度78%"。
这种单一分数的问题在于，它把所有维度的信息压缩成了一个数字，结果你根本不知道哪里像、哪里不像。如果A曲和B曲在响度上一样，但在调性上天差地别，一个笼统的分数只会告诉你"有点不一样"，却不告诉你该往哪个方向去听、去改。
Diptych的做法是把比较维度拆解成八个独立的类别：旋律与音高、和声与调性、节奏与时值、动态与响度、音色与音质、情绪与表现力、人声质量、制作与混音。
这八个维度不是研究者拍脑袋想出来的，而是来自三个方向的证据交叉验证。专业混音师在描述参考曲的时候，确实习惯用这些术语；音乐信息检索领域长期按照这种facet（facet：指音乐内容描述中一个相对独立的切面或维度，比如节奏facet、和声facet，不同任务会调用不同facet）来组织音频描述；而在知识工程领域，想把混音经验变成机器可读的规则，也不得不按照类似的分类来整理。三条独立的路径走到了同一个终点，这不是巧合。
每个维度里面又细分出具体的可测量特征，一共59个。举几个例子帮你感受一下这种颗粒度。
在旋律维度里有个特征叫颤音速率。
颤音速率：指歌手演唱时声音做周期性音高波动的快慢，专业歌手的颤音速率通常落在一个相对稳定的区间里。
如果系统告诉你参考曲的颤音比你的作品快，这就是一条具体、可以回去验证的信息，而不是一句"感觉不太一样"的空话。
再比如和声维度里有个特征叫和声变化率，它基于一种叫做Tonnetz的音调空间表示方法来追踪和弦进行的移动轨迹，能精确标出两段和声在哪里开始分道扬镳，而不只是笼统地说"调不一样"。
节奏维度里有摇摆比例，衡量的是连续八分音符之间那种长短交替的律动感，爵士乐手常年在调这个东西，只是他们未必知道这个术语。
动态维度里有响度积分（LUFS），这是广播行业的标准化响度测量方式，能反映人耳实际感知到的"响"，而不只是峰值电平。
这种把笼统分数拆解成具体可核查条目的设计思路，有点像体检报告。如果医生只告诉你"你的身体指标有点异常"，你完全不知道从哪里改善。但如果报告列出血压、血糖、胆固醇分别是多少、哪些超标，你就能对症下药。相似度分数就是那种笼统报告，而Diptych的八维特征表，是那份详细的体检单。如果没有这种拆解，使用者拿到的只是一个无法行动的模糊印象，根本没法决定下一步该调什么旋钮。
AI解读：说出差异，但不下判决书
光有特征数据还不够，大部分人没办法一眼看懂59个特征数字背后意味着什么。这就是AI介入的地方。
系统会把选定范围内两段音频的特征差异，连同一份术语词典，发送给一个本地部署的大语言模型（论文中用的是Gemma系列模型，通过vLLM框架提供服务）。模型返回的是每个类别的简要总结，以及一段整体性的文字解读。
这里有个设计细节特别值得说一下：这段AI生成的文字，研究者明确把它定位成"一种解读"，而不是客观的音乐质量判决。
这个区分看似微妙，其实很重要。如果AI说"A曲比B曲更有表现力"，这听起来像是一个权威结论，容易让用户不假思索地接受。但研究团队特意强调，这句话应该被理解为"基于当前测量到的这些特征，AI给出的一种解释"，用户完全可以不认同，可以去质疑，也可以直接忽略。
这就像医生给你看体检报告的时候，如果只说"你有点不健康"，那是在下判决。但如果医生说"根据你的血脂数据，我倾向于认为你最近饮食偏油腻，但具体原因还需要你自己回想一下这段时间吃了什么"，这就是解读而不是判决。解读给你留了反驳和补充的空间，判决不会。如果Diptych把AI输出包装成绝对正确的结论，一旦这个结论出错，用户会毫无防备地被带偏，这是比"没有AI"更危险的情况。
实验怎么做的：不止让系统自夸
研究者找了12位音乐人做了一个对照实验，同时还找了4位专业听音师作为"校验层"，确保评价不是自说自话。
实验流程挺讲究。每位参与者先在没有任何辅助工具的情况下，纯靠耳朵做一次A/B听音，记录下自己听到的差异、大概的时间位置、判断依据和信心程度。这份记录会被封存，作为"使用系统前"的原始记录。
接下来参与者才正式使用完整的Diptych系统，自由探索整曲对比和片段对比，查看特征和AI解读。之后他们要回头重新审视自己之前记录的每一条判断，决定是保留、修改、撤回，还是补充新发现的差异。
与此同时，四位专业听音师完全不接触系统界面，只靠耳朵盲听同样的曲目，然后在不知道判断来源于谁、什么阶段的情况下，对所有匿名化的判断条目逐一打分，判断这些说法是不是真的能在音频里听出来。
这个设计很关键，因为它排除了一种常见的自证陷阱：如果只问用户"你觉得这个系统有没有用"，用户很容易因为界面好看、交互顺畅就给出正面评价，但这不代表系统真的帮他们做出了更准确的判断。专家盲听这一层，相当于一个独立的质检环节。
结果出来后有点出人意料。
参与者使用系统前后，专业听音师对他们原有判断的支持率几乎没变：使用前38条匹配判断里有24条得到两位专家完全认可，使用后是23条，几乎持平。按部分支持的标准算，使用前后都是32条，占84.2%。
但是，参与者在使用系统之后，新增了10条之前没发现的判断，其中9条得到了至少一位专家的部分认可，4条得到两位专家的完全认可。
这说明了什么？系统没有让用户已有的判断变得更准，但确实帮他们看到了更多原本没注意到的东西。这两件事其实是分开的，一个是准确性，一个是覆盖面，不能混为一谈。
这就像一个新手去逛博物馆，导览器没有让他原本就喜欢的那幅画评价变得更专业，但确实带他多看了三幅他本来会直接走过去的画。导览器的价值不在于纠正你已有的品味，而在于拓宽你看到的范围。如果只用"用户原有判断有没有变准"这一个指标来评价系统，会完全错过这个更重要的贡献。
可用性方面，系统得分不错。12位参与者打出的系统可用性量表（SUS：System Usability Scale，一种常用的十题式问卷，用来衡量软件产品的易用程度，满分100分，68分是业界公认的及格线）平均分是74.79分，超过了常见的68分基准线。所有参与者都认为播放和切歌很方便，信息量也在可接受范围内。11位参与者认为系统或多或少有帮助，8位表示非常信任系统给出的结果。
但细节里藏着警示。4位参与者明确表示，系统有时候会用很肯定的语气陈述一些证据并不充分的东西。研究者还发现了几个具体的翻车案例，比如系统在一首纯器乐曲里描述出了一段并不存在的人声特征，还有一次节奏强度的读数直接失败了。这种"听起来很笃定，实际上在瞎说"的情况，恰恰是AI工具最危险的地方，因为用户很难分辨这句话是真的有数据支撑，还是模型自己编出来的。
更微妙的发现是，使用系统之后，参与者的描述明显变得更"专业"了，开始用BPM、立体声宽度、瞬态、压缩这类术语，但这种措辞上的进步，并没有伴随专家支持率的同步提升。
这个现象值得多想一步。一段话听起来越专业，读者（包括写这段话的人自己）往往就越容易相信它是对的，但语言的流畅度和内容的准确度其实是两件独立的事情。这就像一个人突然开始用很多金融术语讲话，听起来头头是道，但他说的投资建议不一定比他之前那句大白话"我觉得这支股票要涨"更靠谱。专业词汇制造出一种权威感，这种权威感恰恰容易掩盖底层证据的薄弱，让使用者更难察觉自己其实在接受一个没有被充分验证的说法。
最终，让用户感到踏实的往往是那些"带你去听"的功能，比如片段定位、时间轴标记、便捷的A/B切换，而不是那些"替你下结论"的部分。10位以上参与者明确表示，系统帮他们更快找到了差异发生的位置。这类导航性质的功能有个共同特点：它们不会"说错"，它们只是把你带到正确的地方，剩下的判断权还在你自己手里。而文字解读就不一样了，它的对错完全取决于AI对音乐的理解是否到位，这正是信任出问题的地方。
这里还有一个值得记一笔的细节：那位给系统打出最高可用性分数、同时表示高度信任系统结果的参与者，恰恰就是遇到"系统把器乐曲听出人声"这个错误的人。一个用起来很顺手的系统，不代表它给出的内容一定可靠，这两件事得分开来看。
这篇论文留给这个领域的，不只是一个具体的产品设计，更是一套可以迁移的设计原则：对比范围该由谁决定，AI的解读该和用户选定的范围绑得多紧，原始证据和AI写出来的那段话该怎么并排摆放方便互相核对，以及在成百上千个可测量的特征里，到底该挑哪些拿给用户看。这些问题不只属于音乐制作，视频剪辑里对比不同剪辑版本、写作教学里拿范文比对自己的初稿，本质上都是同一类问题：当人拿自己的作品去对照一个参考样本时，谁该决定比什么，谁又该负责读懂那个差异。
写在后面
读完这篇论文，让我印象最深的不是那59个特征或者八个维度的分类，而是研究者在讨论部分提出的一个观察：参与者使用系统后，判断变得更长、用词更专业，但专家支持率没有同步上升。
这个现象其实有点细思极恐。它意味着一个设计得当的AI工具，完全可能在不提升真实准确度的前提下，让人产生"我现在懂得更多了"的错觉。这不是系统故意在骗人，而是语言流畅度和内容正确性这两件事，在人类认知里天然就容易被混为一谈。这提醒我，以后看任何AI生成的、听起来很专业的分析文字时，都该多问一句：这句话背后真的有扎实的证据支撑吗，还是只是措辞恰好踩中了"听起来很懂"的那个阈值。
另一个让我反复琢磨的点，是研究者坚持把AI输出叫做"解读"而不是"判断"。这个用词上的克制，看起来只是语义游戏，但它直接决定了用户会不会把AI的话当成可以质疑的对象，还是当成不容置疑的权威。一字之差，态度完全不同。
论文也留了一个没解决的问题：59个特征里，哪些才是真正值得展示给用户的，哪些只是凑数、甚至会误导判断。研究者自己也承认，这些特征大多来自文献整理，而不是跟真正的制作人反复打磨出来的。下一步要做的工作，可能是把这份清单砍掉一半，只留下真正有用的那些。这事儿听起来不难，做起来恐怕要花比做出整个系统更多的功夫。
如果有一天，你在用某个AI工具帮你比较两份文档、两段视频、两个方案的时候，不妨想想Diptych的这套逻辑：是谁在决定比什么，又是谁在负责把差异读给你听。这两个角色，最好永远不要是同一个。
Q&A
Q1：Diptych是什么？
A：Diptych是新加坡科技设计大学和浙江大学的研究团队开发的一个AI辅助音乐制作系统，核心功能是让用户自己决定要对比两首歌的哪些部分（整曲或自选片段），再由AI基于59个结构化音频特征生成可供用户核查的文字解读，而不是直接给出音乐质量判决。
Q2：Diptych的效果怎么样，专家认可吗？
A：实验显示系统没有明显提升用户原有判断的专家支持率，但帮助用户新发现了10条之前漏掉的差异，其中9条得到专家至少部分认可。系统可用性评分74.79分，高于68分的行业基准线，但也有参与者反映AI有时会过于自信地陈述证据不足的内容。
Q3：Diptych和普通的参考对比插件有什么区别？
A：常见的参考对比工具大多只能比较两首歌的整体特征，比如整体响度和频谱平衡，无法让用户自由选取两首歌中位置、长度、结构标签都不同的片段进行精确对比。Diptych允许用户独立选择两段音频进行配对比较，并把比较结果拆成八大维度共59个具体特征，而不是一个笼统的相似度分数。
