ITCOW牛新网 11月12日消息,Anthropic为Claude API推出一项处于测试阶段的effort调节新能力,开发者能够在同一条对话流程里动态调整模型的资源投入等级,实现会话中途的能力“换挡”。

effort参数用来把控模型处理任务时投入的思考深度,不单单控制输出文本的篇幅,还会作用于模型推理思考、工具调用、内容组织等环节,开发者借此在回答完整度、接口响应速度与调用成本三者之间做出取舍。开发者只需要在消息序列插入一条内容为空的system消息,通过output_config.effort完成等级设定,无需改动顶层接口配置,原有提示缓存依旧可以正常命中。
这项设置不会改写已经生成完毕的回复内容,参数变更会从下一条用户输入消息开始正式生效,开发者需要留意插入配置消息的具体位置。在实际业务场景中,同一会话前期可以用低负荷档位完成简单闲聊问答,当任务流转到深度复杂分析工作时,直接切换至高effort档位,不用重新开启全新对话,适配多变的混合式任务流程。







