
在被Anthropic 一顿暴打两个多月之后,
OpenAI 大半夜终于把连着跳票的6.2 Astra 端上来了。 。。
只能说,
再不更新的话,用户全要被Google 和 Anthropic 分完了。。。
OKK,那我们仍然先来看一手Benchmark 。
先是评测模型长程任务的Benchmark,Agents' Last Exam 上,

6.2 Astra 算是创下新高了。比Google上周刚推的Gemini 4 Carbon,还有Anthropic 的 Fable 5.2 还要高。
推理档位设置在xhigh的情况下,分数达到了78.3%。 相比于前代6 Astra,不仅得分更高,成本也更低。
然后是科学领域。
在Terminal-Bench-Science 0.1 上,6.2 Astra 再次压制Fable 5.2。

甚至,推理档位只开到high的情况下,也比Fable 5.2 开到Max要好了,同时成本也低了好几倍。
在生物学相关的Benchmark,Vals Science Index上

6.2 Astra 开到Max 的情况下,也比Fable 5.2 要好了。有趣的是推理档位从high 调整到xhigh,反而表现降低了。
(看起来xhigh 不是很值得的样子。。。)
在最新的Artificial Analysis 智能指数上,

6.2 Astra 表现没有Fable 5.2 好。 当然,成本上相比还是有很大的优势。
还有3D 相关的Benchmark,Bench CAD 上,

6.2 Astra 相比于Fable 5.2,仍然是成本低N 倍,但是表现要稍弱。
在自动化相关的Benchmark,AutomationBench 上,

6.2 Astra 相比于Gemini 4 Carbon 和 Fable 5.2 。成本仍然是最低的。但是同样按照最高推理档位的表现来比的话,Gemini 4 Carbon 是最优的。
大家最关心的编码任务,FrontierCode 2.0 上,

6.2 Astra 表现不及Fable 5.2。甚至Fable 5.2 推理档位开到 high的情况下,已经超出了6.2 Astra 开到 Max 的表现。
当然,成本上,6.2 Astra 会更占优。
倒是值得注意的是6.2 Sol的表现。
相比于Opus 5.5, 两个模型都开到最高档位的时候,表现相同,但是6.2 Sol 要便宜不少。
而且整体来看,6.2 Sol 在其他档位的表现也会优于Opus。
按照OpenAI的推荐,6.2 Sol 应该是日常工作的首选模型。
在OpenAI 最近推出的日常工作任务相关的Benchmark,LifeVal 上,

6.2 Sol 已经超越了之前的6 Astra,甚至只用了它七分之一的成本。
在法律相关的Benchmark 上,Harvey LAB--AA

6.2 Astra 表现也比Fable 5.2 要优秀很多。
这里稍微介绍一下Harvey LAB--AA 。它是一个评测Ai法律工作能力的Benchmark,例如审查合同条款等任务。
它的评分规则还挺严格的,只有当AI提交的最终成果满足所有评分要求,并且没有任何实质幻觉时,才能获得分数。
在内部跨领域工作的基准测试,GDPval v2 上,

6.2 Astra 相比于其他模型,它取得更高的分数同时也输出更少的token 。
在安全和对齐上,
6.2 Astra 整体和6 Astra 水平相当,除了在两个Benchmark上会发现6.2 Astra 更倾向于忽略不提它不能完成任务的原因。比如缺少必要的文件、搜索工具之类的。

在Blocker Deception 这个测量模型是否会真正提及它不能完成任务的原因的Benchmark上,
如果没有prompt的引导,6.2 Astra 和6.2 Sol的表现会比之前更差。
在Improper actions上,

6.2 Astra 和 6.2 Sol 做出危害行为的比例相比于之前要更低。
最后是使用价格。
6.2 Astra 相比于6 Astra token 效率更高了。所以API价格也比之前便宜了。每百万tokens输入在8美金,输出在40美金,缓存命中的输入是在0.4美金。
而6.2 Sol的API价格,和6.1 Sol则保持相同,仍然是每百万tokens输入2美金,输出10美金,缓存命中是0.1美金。
还有一个好消息(也不一定?!) 是,如果你是200刀的订阅用户,你也能享受到之前只有500刀尊贵会员独享的超快速模式!
当然有好消息就一定有坏消息。
翻了一下X上知名的开发者,Theo (也是开源产品T3 Code的开发者),早期测试的评价并不太好。

大致总结一下,这模型的优点是Code Review 能力极强,能抓出别的模型漏掉的bug,3D 和游戏开发还有Computer Use 的水平非常强,偶尔能做一些让人眼前一亮的活。 比如能搓一个新的反代方案。
但除此之外,全是缺点。
比如只会讲自己懂的天书且prompt 无法拯救这一点。。 也就是说,GPT的老毛病仍然存在的,不讲人话。
比如问它为什么worktree 在这台机器上慢,另外三台快。
6.2 Astra长篇大论了4段pnpm内部机制和缓存行为,而Opus 5.5 简单直接,因为那台机器的SSD慢。。。
还有,非常容易原地死循环,浪费时间浪费Token,零产出。
感觉这个毛病也是GPT的老毛病了。
Theo 拿它自己的项目ts-rust做测试,跑了7天,没有任何有效改进。。
最后还有个很致命的问题,创意容易趋同。
Theo 和他的朋友用完全不同的prompt 、配置来做游戏进行测试。结果Astra的产出全是水+音乐+钟作为主题,甚至连游戏关卡名字都一样,叫bellwether。
总的来说,是这模型虽然聪明得吓人,但是在真实项目里用起来会极其折磨。







