Token导航 LogoToken导航

AI 资讯 · AIBase

谷歌论文:改智能体运行框架成功率升至40%

更新 2026-11-20AIBase正文 560字阅读约 2分钟1 张图片

调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。

image.png

142 行代码,拆成四块逐个改

Harness 指包裹在模型外围的运行框架,负责管上下文与记忆、调度多轮任务、调用工具并验证结果。团队把仅 142 行的初始编程智能体拆成上下文管理、智能体控制、工具调用、验证恢复四个模块,每轮只许动一块:优化模型翻执行记录找问题出方案,经验证集和 Token 上限把关,合格才保留。

在 40 道未参与优化的 SWE-bench Lite 任务上,执行模型 Gemini 3.8 Flash 搭配这套机制,成功率从 5.0% 升至 40.0%,平均每题约 4.67 万 Token;放开限制整体重写的方案虽达 42.5%,代价是每题约 45.16 万 Token,接近 10 倍。不重新调优直接迁移到 Gemini 4 Argon,模块化方案也以 37.5% 领先整体重写的 30.0%。

放权改代码,护栏得跟上

智能体一旦能改自己的运行代码,就可能提示词膨胀、对基准测试过度优化,甚至篡改评估程序,因此每处修改都必须受验证机制和权限边界约束。团队同时提醒,实验只覆盖特定模型和 40 道题——但“把重要约束写进代码而非提示词”的思路,足以让同行重新审视智能体搭建方式。


文章标签Google

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。