你有没有遇到过这种情况：公司刚花了几个月时间，训练了一套系统，能够根据不同的问题自动判断该用哪个AI模型来回答。结果过了三个月，新出了个更强的模型，或者业务扩展到了一个新的领域，之前那套系统突然就不好使了，得推倒重来。
这不是段子，这是整个大语言模型路由领域一直以来的真实处境。
**先搞清楚：什么是"路由"**
现在市面上的AI模型五花八门，有的便宜但能力一般，有的贵但效果拔尖,有的擅长写代码，有的擅长聊天。
LLM路由*：大语言模型路由，指的是针对每一条用户的问题，自动挑选一个最合适的模型来回答，而不是无脑地把所有问题都丢给最贵最强的那个模型。
这件事听起来简单，做起来却有个大麻烦。南京大学的两位研究者Guannan Lai和Han-Jia Ye在他们的新论文里，把这个麻烦讲得很透彻。他们管这个麻烦叫"局部拟合"。
局部拟合*：指路由系统只针对某一个特定的任务场景和某一组特定的候选模型进行训练优化，一旦场景或候选模型变了，系统就得重新训练。
打个比方。你雇了一个调度员，专门负责给某个外卖平台的骑手派单。这个调度员很厉害，摸清楚了这个城市每条街的拥堵规律,知道哪个骑手擅长送重货、哪个骑手跑得快。结果公司突然决定进军另一个城市，街道完全不认识，骑手也全部换了一批。这个调度员的所有经验瞬间作废，得从头学起。
如果不解决这个问题会怎样？意味着每次模型池更新、每次业务拓展到新领域，运维团队就得重新收集数据、重新训练路由模型。这个"修了又修"的过程，成本高得吓人，而且训练出来的路由器本身也很难在不同场景之间复用。
**当时的路由系统，到底卡在哪儿**
论文里提到，现有的路由方法，比如IRT-Router、ICL-Router这些，虽然各自想了些办法去缓解"局部拟合"的问题，比如显式建模模型能力和查询特征，或者从上下文表现里推导模型的表示，但本质上还是围绕某个固定场景打磨出来的解决方案。
一旦遇到新的任务类型、新的数据模态（比如从纯文本扩展到图文混合），或者候选模型池发生了变化，这些系统多少都要经历"额外数据收集+重新优化"的流程。
研究者们提出了一个很根本的问题：路由这件事,能不能换个思路，做成像大语言模型本身那样的"基础模型"？就是说，先经过一次充分的预训练，之后不管遇到什么新场景，都不需要再专门训练，直接拿来用就行。
这就是这篇论文的核心贡献，叫做RouteFM。
**RouteFM的核心思路：不认模型的"身份证"，只看模型的"行为记录"**
RouteFM*：论文提出的一个路由基础模型，通过大规模、多样化的"路由环境"预训练，学会一种可以迁移到任何新场景的通用路由能力。
这里有个关键的设计决策，值得单独拎出来说。
传统路由系统往往会给每个候选模型一个固定的"身份"，比如这是GPT-4，那是Claude，然后针对这些具体的模型学一套策略。但RouteFM反其道而行之，它完全不关心模型叫什么名字、是谁家出的、参数量多大。它只关心一件事：这个模型在过去的问题上表现怎么样。
论文里管这个叫"行为上下文"。
行为上下文*：对于每个候选模型，系统记录它在历史问题上的表现，包括问题的语义向量、模型答得好不好（质量分数）、回答这个问题的相对成本，这三者打包在一起作为这个模型的"行为证据"。
这个设计思路其实特别像招聘时候的做法。如果你是HR，面对一个完全陌生的候选人,你没法看他的简历封面判断他行不行,但你可以看他过去做过的项目、拿到过的评价,从这些具体的行为记录里判断他适不适合当前这个岗位。即便这个人从来没在你公司待过,你照样能通过足够的历史记录做出靠谱的判断。
如果RouteFM像传统系统那样死死绑定模型身份会怎样？那新模型一旦上线，系统完全没见过这张"脸"，根本无从下手，必须重新收集带标签的数据来训练。而现在只要新模型跑几次历史问题、攒一点行为记录，RouteFM立刻就能对它有判断,这就是论文实验里提到的，八个观测样本就能让新模型被合理地纳入路由决策的原因。
**怎么把"一堆行为记录"变成一个靠谱的能力画像**
光有行为记录还不够，因为不同候选模型拥有的历史记录数量可能天差地别，有的模型可能只跑过8次历史问题，有的可能跑过上千次。这种长度不一致的数据，直接丢给神经网络处理会很棘手。
RouteFM用了一个叫"能力画像"的机制来解决这个问题。
能力画像*：RouteFM设置了24个可学习的"能力标记"向量，这些向量通过注意力机制反复和某个候选模型的全部历史行为记录交互，最终压缩提炼出一个固定长度、浓缩了这个模型综合能力特征的表示。
这24个标记一开始对所有模型都是一样的，没有任何候选模型专属的信息,就像一张白纸。然后让它们通过四层"剖析模块"去"读"这个模型的历史表现，每读一轮，这张白纸上就多一点关于这个模型的具体信息，读完四轮之后，这24个标记就变成了专属于这个模型的能力总结。
这很像医生给病人做体检。不管病人以前做过多少次检查，报告有多厚,医生最终要的不是一堆散乱的化验单，而是一份浓缩过的、结构化的体检总结,血压、血糖、各项指标各占一个固定的位置。不管原始数据多乱多长，体检总结永远是那几项,这样医生看任何病人的报告时，都用同一套框架去理解，不用每次重新设计看病的方式。
值得一提的是，这24个能力标记具体捕捉的是什么维度的能力，论文里说得很诚实，不是人为预设的"数学能力""代码能力"这种标签，而是完全由模型自己在训练过程中学出来的，用来区分不同候选模型的隐藏特征。这意味着它可能发现了一些人类没有明确命名过的、但对路由决策很有用的模式。
**目标问题来了之后，该去哪里找证据**
有了每个候选模型的能力画像，接下来的问题是：针对眼前这个具体的用户问题，到底该参考画像里的哪些信息？
论文设计了一个"双通道"检索机制。一条通道让目标问题去能力画像里找相关证据，另一条通道则让目标问题直接去翻阅这个模型的原始历史记录，不经过压缩。
为什么要留着原始记录这条路？因为压缩是有代价的。
把一个模型几百条历史记录压缩成24个标记，难免会丢失一些细节。有些细节可能平时用不上，但恰好在某个特定问题上非常关键。这就好比你去图书馆查资料，馆藏目录（压缩后的概要）能帮你快速定位大致方向，但如果你要查的是某个特别细碎的条目，有时候还是得翻开原始文献才能找到那句准确的话。目录永远无法替代原文，它只是加快了检索效率。
如果去掉这条直接访问原始记录的通道会怎样？论文的消融实验给出了答案，在观测样本有限的情况下，性能会有明显下降，说明这条"走原文"的路径确实补上了压缩损失掉的东西。
两条通道找到的证据最后会融合在一起，融合方式是一个叫"残差融合"的操作，简单说就是以能力画像检索出的结果为主，再把原始记录检索出的额外信息，按一个可学习的权重叠加进去。这个权重是模型自己训练出来的，不是人工设定的固定比例。
**不能只看自己，还得跟同场的对手比**
路由从本质上说是个比较问题，不是单独给每个候选模型打分这么简单。
你去买西瓜，不是说某个瓜甜度达到8分就一定买它，而是要看今天摊位上所有瓜里哪个最甜。同样的质量分数，在弱手如云的候选池里可能是冠军，在高手云集的候选池里可能垫底。
所以RouteFM在给每个候选模型算出了目标相关的表示之后，还要把这一批候选模型的表示一起塞进一个Transformer编码器里，让它们互相"对话"，彼此比较之后再输出最终的质量和成本预测。这个过程里，论文特意强调了一个细节，候选模型的排列顺序是随机打乱的，而且网络设计上不给候选位置加任何顺序编码。
这是为了防止网络偷懒，学会"第一个位置的模型通常更强"这种投机取巧的规律，而不是真正基于行为证据做判断。这个设计保证了不管候选模型的出场顺序怎么换，比较的结果都是一致的。
**怎么训练出这种"放之四海而皆准"的路由能力**
光有架构还不够，怎么训练才能让这套系统真正学会跨场景迁移，这是另一个大问题。
论文采用的是"情景式预训练"，每一轮训练构造一个独立的"情景"，情景里包含6到24个匿名候选模型、它们各自的行为记录，以及一批和行为记录完全不重叠的目标问题。训练数据来自四个不同来源：LLMRouterBench、RouterBench、RouterEval和MixInstruct，加起来超过21万条查询任务实例，173万条有效的查询模型观测数据。
每一轮情景里，任务类型、候选模型组合、候选模型顺序、每个模型能提供多少历史观测，全部是随机变化的。这种做法有点像让一个新手厨师不是反复做同一道菜练到完美，而是让他轮番去不同的厨房，面对不同的食材组合、不同的灶具、不同数量的调料，逼着他总结出一套"不管条件怎么变，都能做出好菜"的通用判断力，而不是记住某一道菜的固定配方。
训练过程中还设置了三阶段课程，前期用比较丰富的历史观测（128到1024条）来让模型先学会稳定地估计能力，后期逐渐加大"历史记录很少"这种情况出现的频率，并且逐步提高一个叫"路由遗憾"目标函数的权重。
路由遗憾*：衡量的是如果按模型预测的概率去软性选择候选模型，和理论上选到最优模型相比，平均损失了多少质量，这个指标直接针对最终的路由决策效果去优化，而不仅仅是让预测值准确。
这个三阶段课程的用意很直白：先让模型学会"看得准"，再逼它在信息匮乏、情况紧张的真实部署场景里也能"选得对"。
**实验结果：数据说话**
这套系统到底好不好用，论文给了三组关键实验。
第一组是"域内路由"，用的是预训练时见过的任务类型，只是测试集没见过。在只给8条历史观测的极端数据稀缺场景下，RouteFM比最强的基线方法高出0.84个质量点。随着观测数量增加到64条，这个优势会慢慢缩小，但RouteFM始终保持领先。
第二组实验更能说明问题，叫"跨模态迁移"，测试集换成了MMR-Bench，一个预训练阶段完全没见过的多模态路由基准，题目里还包含了图片。在只有8条历史观测的情况下，RouteFM比表现最好的非RouteFM基线高出2.23个质量点。这是整篇论文里被反复强调的核心数字。随着观测量提升到"大规模"（用每个数据集40%的数据作为上下文），优势缩小到0.07个点，说明当证据足够充分时，大家都能学得不错，但RouteFM的真正价值在于数据稀缺时依然靠谱。
| 场景 | K=8 | K=16 | K=32 | K=64 | 大规模 |
|---|---|---|---|---|---|
| 域内路由（RouteFM） | **0.6192** | **0.6433** | **0.6627** | 0.6611 | - |
| 域内路由（最强基线） | 0.6108 | 0.6430 | 0.6601 | **0.6601** | - |
| 跨模态迁移（RouteFM） | **0.7323** | **0.7457** | **0.7487** | **0.7504** | **0.7614** |
| 跨模态迁移（最强基线） | 0.7100 | 0.7338 | 0.7433 | 0.7440 | 0.7607 |
第三组实验是关于"新模型接入"的能力测试。假设候选池里原本有8个模型，现在新来一个模型，只给它8条历史观测，系统就能超过所有需要重新训练的基线方法。给到16条观测，整个扩展后的候选池表现甚至超过了只用原来8个模型时的效果，说明RouteFM不仅能认出新模型的大致能力，还能真的用好它。
还有一组关于"上下文预算效率"的实验，挺有意思。RouteFM只用1%的历史观测数据，就能追平Weighted kNN这个基线方法用上全部数据达到的效果；用3%的数据就能追平MLP方法的全量表现；用26%的数据追平EmbedLLM的全量表现。这说明预训练积累下来的"路由经验"，确实能大幅压缩部署时所需要的实际证据量。
论文还做了细致的消融实验，去掉"候选池比较"这个Transformer模块，在8条观测的情况下质量直接掉了1.33个点，是所有被拆解的组件里影响最大的。这印证了前面说的，路由决策本质上离不开横向比较，单独预测每个模型的分数是不够的。
去掉"目标到原始上下文"这条检索通道，观测量少的时候也有明显下降，证明了压缩确实会丢信息，保留原始记录这条路是必要的补充。
论文还对比了"从头训练"和"预训练后微调"两种方式。用20%的目标领域标注数据从头训练一个同样架构的模型，表现始终不如完全冻结参数、不做任何目标领域训练的RouteFM，差距在8条观测时达到1.08个点。而拿预训练好的RouteFM去做微调，带来的提升非常有限，有些场景下甚至还略微下降。这说明大部分可迁移的路由能力，确实是在预训练阶段就已经学到了，不需要额外的参数调整。
**成本也能一起管**
RouteFM不光预测质量，还会同时预测每个候选模型的相对成本。最终的路由决策公式是用质量减去一个系数乘以成本，这个系数可以随时调整，不需要重新训练模型。
这就好比一个导航软件,同一套路网数据，你可以选"最快路线"也可以选"最省油路线"，底层地图不用重新画，只是调一下优化目标。论文里展示的质量成本权衡曲线证明，通过调整这个系数，同一个冻结的RouteFM可以在一大片操作区间里，比单纯用某个固定模型取得更好的质量成本平衡。
写在后面
读完这篇论文，最触动我的其实不是那2.23个百分点的提升数字，而是论文反复强调的一句话："候选模型是用行为而不是身份来表征的"。
这个设计思路其实在推翻一个我们习以为常的假设：我们默认一个AI系统必须"认识"它要调度的对象才能做好调度。但RouteFM证明了，只要观察的行为证据足够结构化，系统完全可以对一个从没见过名字的模型做出靠谱判断。这某种程度上更接近人类专家做判断的方式，老练的面试官评估一个陌生候选人，靠的也是作品和履历，而不是一纸文凭上的校名。
另一个让我反复琢磨的细节是，论文特意提到他们用24个"能力标记"去总结每个模型的行为，但这些标记代表的具体含义完全没有预设，是训练过程中自己涌现出来的。这意味着这套系统可能发现了一些连研究者自己都说不清楚、但确实有效的能力划分维度。这种"学出来的分类体系"比"人为定义的分类体系"更灵活，但也更难解释，这大概是整个深度学习领域一个永恒的张力。
论文最后提到的未来方向里，有一条我觉得特别值得追问：如果路由环境不是静态的，而是持续变化的，候选模型随时在增减，用户的问题分布也在漂移，这套系统能不能做到"边用边学"，而不是依赖一次性预训练就终身不变？这大概是从"能迁移"走向"能持续进化"必须跨过的下一道坎。
Q&A
Q1：RouteFM是什么？
A：RouteFM是南京大学研究者提出的一个大语言模型路由基础模型，通过在多样化场景下预训练，学会一种能够直接迁移到新任务、新模型、新数据类型上使用的通用路由能力，不需要针对每个新场景重新训练。
Q2：RouteFM和传统的路由系统有什么区别？
A：传统路由系统通常针对固定的任务和固定的模型池训练，一旦环境变化就要重新收集数据训练。RouteFM不依赖模型的固定身份，而是通过模型过去的行为表现来判断它的能力，因此可以直接应用到新环境，只需要少量历史观测即可完成适配。
Q3：RouteFM在实验中表现如何？
A：在预训练时没见过的多模态路由测试集MMR-Bench上，RouteFM只用8条历史观测，就比最强的对比方法高出2.23个质量点。同时它还能用极少的历史数据，快速把新上线的AI模型纳入路由决策中。
