你有没有想过这样一个场景：你要调试一个数据库的参数配置，上百个旋钮，调一个可能影响另外十个，而你每次试错的代价是等上几分钟甚至几个小时才能看到效果好不好。
这就是黑盒优化要解决的问题。
黑盒优化：一类优化问题的统称，目标函数你能评估它的输出，但不知道它内部的数学公式，也没法求导数，只能像摸黑一样不断试探。
这种问题在现实世界里到处都是。设计一款新药分子，调试芯片上成千上万个元件的摆放位置，给机器学习模型找最佳超参数组合,每一次"试一下看效果"的成本都高得吓人。传统做法是用数学方法硬啃，比如贝叶斯优化和进化算法,靠一套固定的数学套路去猜下一步该试什么。
这些方法很聪明,但有一个致命的局限:它们只认数字。
你跟它说这是个药物分子设计任务,跟它说这是个数据库调优任务,它都不在乎,它眼里只有一堆坐标点和对应的得分。但现实中的优化任务往往带着丰富的背景信息,比如这个参数叫"缓存大小",那个变量代表"分子里的某个化学键"。这些信息对人类专家来说价值巨大,对传统优化算法却毫无意义。
这正是大语言模型被寄予期望的地方。
一、从"听话的工具"到"会思考的打工人"
早期把大语言模型用进黑盒优化的方式,说白了就是给算法打工。
每一轮,优化算法喊一声"生成下一个候选点",语言模型就乖乖按照指定格式吐出一个结果,然后退场,下一轮重新开始。它扮演的角色是固定的,就像流水线上拧螺丝的工人,干的活被规定得死死的。
但最近一年多,一种新玩法开始冒出来,论文把它称为智能体式黑盒优化。
智能体式黑盒优化：不再是算法指挥语言模型完成单一步骤,而是让语言模型自己掌控决策的全过程,它可以查看历史数据、调用计算工具、执行代码、观察结果,然后自主决定下一步该做什么,整个中间过程不是提前写好的脚本,而是模型在线决定的。
这个区别听起来可能有点抽象,换个场景你就明白了。
假设你是个实验室的新人,导师告诉你"去把这个化合物的产量调到最高"。老式的做法是导师给你一张写好步骤的流程卡:第一步测PH值,第二步加多少试剂,第三步记录数据,你照着做就行,不许自己瞎琢磨。而智能体式的做法是导师只给你一个目标和一个预算,剩下的全靠你自己:要不要先查查文献,要不要先跑个小规模试验摸个规律,要不要写个脚本把历史数据画成图看看趋势,这些统统由你自己判断。
如果不让模型拥有这种自主权会怎样?那就退回到了"听话工具"模式,模型只能完成被规定好的单一任务,一旦任务之外出现有用的信息或者有用的分析手段,它完全没法利用。这正是这篇论文想要验证的核心假设:给模型更大的自主权,它真的能干得更好吗?
二、评测这件事,比想象中难得多
问题是,想验证这个假设并不容易。
现有的智能体式黑盒优化研究,各自为战。有的测药物分子设计,有的测超参数调优,用的任务不一样,给模型的信息不一样,背后的"驾驶舱"配置也不一样。结果就是,A论文说某个设计选择有用,B论文说没用,你根本没法判断谁对谁错,因为他们测的根本不是同一件事。
打个比方,这就像十个人各自在不同的健身房,用不同的器械,按不同的饮食计划训练,然后争论"卧推到底该用什么姿势更有效"。你没法得出靠谱结论,因为变量太多,谁都在自说自话。
研究团队意识到,要回答"智能体式优化到底行不行"这个问题,必须先解决一个更基础的问题:怎么把不同背景的任务,放到同一套规则下比较。
于是他们搭建了一个叫AgenticBBO-Bench的统一测试平台,覆盖五个完全不同的领域:合成数值函数(纯数学题,没有任何背景故事)、超参数优化(调机器学习模型的参数)、数据库调优(调数据库的196个配置旋钮)、芯片设计中的宏块布局(把几十个电路模块摆在芯片的合适位置)、分子设计(用SMILES字符串生成满足特定化学相似度的分子)。
这五个领域横跨了连续数值、混合类型变量,到结构化离散对象(比如分子),背景信息的丰富程度也完全不同。有的任务什么背景都不给,纯粹是数字游戏;有的任务信息丰富,还带着领域知识和专业提示。
为了保证公平,所有方法在每个任务上拿到的初始观测数据和评估预算是完全一致的,只有调用语言模型做推理、跑代码、调用工具这些不算钱,只有真正提交给黑盒函数去评估的次数才计入预算。
这就像考试规则统一了:每个人用同样的草稿纸、同样的答题时间,但你怎么打草稿、怎么验算,不限制,最后只看你交上去的答案对不对。
三、打分不能只看最后一下
评价一个优化过程好不好,光看最终结果是不够的。
想象两个人去爬山,一个人路线曲折但稳扎稳打,全程体力分配合理,另一个人一路乱冲,前半程爬得飞快但中间迷路耗了大量时间,最后两人都在相近时间到达山顶。单看"到达山顶"这个结果,两人表现相同,但过程体验完全不同。
论文采用了一种叫作归一化任意时刻评测的打分方式,简单说就是把整个优化过程的平均表现和最终结果结合起来打分,前者占70%权重,后者占30%。这样既考察了优化过程中的稳定性和效率,又兼顾了最终答案的质量。
具体做法是,每一步都把当前找到的最优值换算成一个0到1之间的质量分数,质量分数的参照标准是用一个标准的贝叶斯优化方法(简称GP)跑出来的结果作为一个中间基准点,如果某个方法能超过这个基准,分数会继续往1靠近。整个轨迹的平均质量分数乘以0.7,加上最后一步的质量分数乘以0.3,就是最终总分。
四、智能体真的更会优化吗?答案是肯定的,但没那么简单
主实验结果很直接:在五个领域里,给语言模型配上完整的智能体能力(可以用代码、查历史、调工具),表现全面超过只让它"看着历史直接猜下一个点"的直接模式,平均相对提升达到30.3%。
提升最明显的是合成数值优化任务,从0.460分涨到0.661分,涨幅43.7%;分子设计任务涨得更猛,从0.565涨到0.840,涨幅48.7%。
更有意思的是和传统数学方法的比较。在五个领域中的四个(合成函数、超参数优化、芯片布局、分子设计),智能体式方法打赢了包括TuRBO、CMA-ES、TPE等经典优化算法在内的所有对手,只在数据库调优这一项上,被TuRBO反超(0.660对0.525)。
这个结果有点出人意料。你可能觉得,语言模型哪懂什么数学优化,怎么能打败专门为优化问题设计了几十年的数学算法?但答案恰恰说明,给语言模型配上自主决策的空间和工具调用能力之后,它能在很多场景下发挥出超越纯数学方法的灵活性。
五、给模型配上更多数学工具,一定更好吗?答案是:不一定
既然智能体有自主权,一个自然的想法是:干脆把专业的数学优化器做成工具塞给它,让它能随时调用贝叶斯优化的建议,这样不就两边优势都占了?
研究团队专门做了这个实验。基础的智能体配置什么优化工具都不给,只让它用普通的代码执行能力;第二种配置额外给了一个贝叶斯优化建议接口,模型可以问它"接下来该试哪个点";第三种配置给得更全,包括预测、打分、诊断、调整搜索区域等一整套贝叶斯优化工具箱。
结果让人意外:工具越多,表现反而没有变好,甚至有点下滑。
基础配置平均得分0.589,加了建议接口的配置掉到0.574,加了全套工具的配置掉到0.538。
为什么会这样?研究者去扒了模型的行为日志,发现了一个关键线索:即便给了一整套贝叶斯优化工具,模型在35.4%的回合里压根没碰这些工具,而是自己写代码分析数据。
一个很生动的例子出现在芯片布局任务里。模型在观察了50个已有布局方案之后,自己用最小二乘法拟合了一个简单的线性模型,发现了布局间距和最终评分之间的某种规律,然后根据这个规律手动构造出一个更紧凑的布局方案,一步步把最优分数从0.551提升到0.664,最后冲到0.676。这整套分析过程,它没有借助任何预先配置的优化工具,全是现场写代码琢磨出来的。
这就好比给一个本来就擅长现场发挥的厨师配了一整本标准菜谱,结果他压根没翻几页,因为他发现眼前这锅食材的火候靠自己尝一口就能判断得更准,标准菜谱反而成了摆设甚至干扰。如果强行要求厨师必须照菜谱做,反而可能限制了他根据实际情况灵活调整的空间。
这个发现揭示了一个更根本的东西:智能体式优化真正的价值,可能不在于给它配了多少现成工具,而在于它能不能从当前这个具体任务的搜索轨迹里,现场发现有用的规律,然后灵活地构建专属的分析手段。固定的数学工具自带固定的假设(比如贝叶斯优化默认用高斯过程去拟合),这些假设未必适合每一个具体任务。
六、给模型讲清楚任务背景,到底有没有用?
另一个核心问题是:要不要告诉模型"你现在在干什么"。
研究团队设计了三种信息暴露程度。第一种叫匿名模式,把任务和变量的真实身份全部隐去,模型看到的只是一堆没有名字的数字坐标;第二种恢复了任务和参数的语义信息,比如告诉模型"这是在调支持向量机的正则化系数";第三种在语义信息基础上,进一步补充领域知识,比如告诉模型"正则化系数和核函数宽度会共同影响模型复杂度"。
结果显示,语义信息普遍有用,把六个真实世界任务的平均得分从0.465提升到0.595。这符合直觉:知道自己在调什么参数,总比两眼一抹黑强。
但追加更具体的领域知识,结果却飘忽不定。
它在芯片布局和某个数据库调优任务上帮了忙,却在另外两个任务上拖了后腿,整体平均分反而从0.595掉到0.569。换句话说,更详细的知识并不自动等于更有用的知识。
为了搞清楚这背后的原因,研究团队又单独设计了一组更干净的对照实验:构造三个匿名的12维数学函数,每个函数只有4个变量是真正起作用的,其余8个是摆设。然后分别给模型不同组合的提示:什么都不告诉、只告诉几何形状信息(比如"这个函数在有效区域内是光滑且可分离的")、只告诉哪几个变量是有效的、同时告诉有效变量加几何信息,还有一种刻意设置陷阱:告诉模型一组错误的"有效变量"加上正确的几何信息。
结果非常清楚:同时拿到正确的变量定位和正确的几何信息,平均得分冲到0.872,是所有条件里最高的。单独给一种信息,提升幅度都比较有限。而给错误的变量定位信息,哪怕配上正确的几何描述,得分反而掉到0.682,几乎把整个提升效果都抹掉了。
这个结果给了一个很朴素但很重要的启示:提示信息的价值不在于细节多不多,而在于它准不准、能不能真正转化成具体的搜索决策。
打个比方,如果你去一个陌生城市找餐厅,有人告诉你"这家店在市中心,装修很有特色,老板人很好"，这些信息听起来详细,但对你导航帮助不大;如果有人直接说"往左转第二条街",信息看起来简单粗暴,但立刻能用上。更糟的是,如果有人给你一个错误的方向指引,哪怕配上再多细节描述,你也只会越走越偏。
七、语言模型到底该在优化循环的哪个环节发力?
接下来一个问题更有意思:语言模型是不是必须从头干到尾?
研究团队设计了几种角色分配方式。第一种是全程由智能体自主决策;第二种让语言模型只负责调整一个贝叶斯优化算法的参数设置(比如选用什么核函数、什么采集策略),具体提议候选点的工作交给数学算法;第三种叫"交接模式",让智能体先跑一段(比如16轮),探索出一些有价值的方向,然后把接力棒交给纯数学优化器(TuRBO、GP或者简单的局部搜索),让后者接着跑完剩下的预算,不再调用语言模型;第四种是让语言模型离线开发一套可复用的优化程序代码,然后把这套代码直接部署到全新任务上,过程中完全不再调用语言模型。
结果显示出几种截然不同的权衡。
把语言模型限制成只能调整贝叶斯优化的参数设置,表现从全程自主的0.569掉到0.516,说明语言模型的价值不只是微调一个固定算法的旋钮那么简单。
但交接模式给出了一个很有启发的结果:让智能体先探一段路,再把接力棒交给TuRBO接着跑,最终得分0.570,基本和全程自主的智能体打平,还明显超过了TuRBO从零开始跑的成绩(0.475)。
这说明语言模型的在线参与并不需要贯穿始终,它可以在前期承担探路的角色,把搜索方向校准好,后面交给成本更低的数学方法去收尾,效果几乎不打折。
离线开发的优化程序,在没见过的新任务上得分0.501,高于固定的贝叶斯优化基线(0.451),但低于在线自主运行的智能体表现。更值得关注的是,不同的开发批次之间差异很大:有的开发出来的优化器在训练任务上表现很好,到了全新任务上却掉得很惨,这说明从几个特定任务里"总结经验"写成一套固定程序,存在明显的泛化风险。
这就像一个老师傅,如果让他全程手把手带新人干活,效果最稳;如果让他先带一段把路子带顺,后面交给熟练工接手,效果几乎一样好,还省了老师傅的功夫;但如果让他把经验写成一本操作手册留给别人照着做,这本手册到了一个完全没遇到过的新场景,可能就不那么灵了。
八、前沿模型大乱斗:贵的不一定更强
最后,研究团队拉来了七个当下主流的大语言模型,在一个五任务的精简挑战赛里同场竞技,包括GPT-6 Astra、DeepSeek V4.1 Flash、GPT-5.6 Sol、Gemini 3.1 Pro、GLM-5.3、Kimi-K3和DeepSeek V4 Pro。
结果显示,GPT-6 Astra综合得分最高,拿到59.1分,DeepSeek V4.1 Flash紧随其后,拿到58.4分,差距很小。但没有一个模型能在所有五个任务上都保持领先,有的模型在某个任务上表现突出,换一个任务立刻掉队。
更值得关注的是成本这条线。GPT-6 Astra的得分只比DeepSeek V4.1 Flash高了0.7分,但官方标价的推理成本却高出不少。换句话说，花更多钱不一定能换来成比例的效果提升。
这给做实际应用决策的人提了个醒:选模型不能只看榜单上排第几,还得算一算每一分提升背后到底花了多少真金白银,这笔账划不划算。
写在后面
读完这篇论文,最让我意外的不是智能体打赢了传统算法,而是那个关于贝叶斯优化工具的反直觉发现。
我们通常默认"给AI更多专业工具就是在帮它",这篇论文用实打实的数据给这个默认假设打了个问号:工具箱塞得越满,不代表发挥得越好,有时候反而是累赘。
这背后其实指向一个更深的问题,就是通用智能和专业工具之间的关系到底该怎么摆。专业工具的价值建立在"这个工具的假设适配当前问题"这个前提上,一旦问题本身足够复杂多变,固定假设反而可能是一种枷锁,而一个足够灵活、能现场观察现场建模的智能体,恰恰能绕开这种枷锁。
这让我联想到一个完全不相关的领域:很多企业管理里也有类似现象,给一线员工配了一整套标准操作流程手册,结果员工发现手册规定的流程根本应付不了现场的突发情况,反而是那些被允许"灵活处理"的员工解决问题更快。工具和流程的意义,从来不是越多越好,而是用不用对了场合。
这篇论文还留了一个没完全解开的疙瘩,就是语言模型开发出来的优化器为什么泛化能力这么不稳定,有的批次表现稳健,有的批次换个任务就崩。这个问题其实比"智能体能不能打赢传统算法"更根本,因为它关系到我们能不能真正把AI在某次任务里积累的经验,变成可以复用、可以信赖的通用能力,而不是每次都要重新摸索一遍。
如果AI真的要变成一个"可以放心交给它干活的优化师",这个泛化问题恐怕才是真正的拦路虎。
Q&A
Q1：AgenticBBO-Bench是什么？
A：AgenticBBO-Bench是一个跨领域的黑盒优化基准测试平台，覆盖合成函数、超参数优化、数据库调优、芯片设计和分子设计五大领域，让不同的大语言模型智能体在统一规则下比拼优化能力。
Q2：给大语言模型配更多数学优化工具一定能提升效果吗？
A：不一定。实验发现额外给贝叶斯优化工具后平均得分反而从0.589降到0.538，因为模型更倾向于现场写代码分析规律，固定工具的假设未必适配每个具体任务。
Q3：语言模型是否必须全程参与优化过程？
A：不是必须的。研究发现让智能体先探路一段，再把任务交给数学优化器接手，最终得分和全程自主运行几乎持平，说明语言模型可以只负责前期探索，后期交给成本更低的方法收尾。
