该图片疑似使用了AI生成技术，请谨慎甄别
大数据文摘出品
AI圈又迎来一位重量级选手！
腾讯混元发布并开源新一代旗舰模型Hy4 preview，总参数达到770B，每个Token激活49B参数，上下文长度提升至100万Token。
官方将其定位为“为生产力而生”的模型，重点提升代码、办公分析、游戏开发和科学研究等真实任务能力，并将其列入开源模型第一梯队。
要知道，上一代Hy3的总参数为295B、激活参数21B，上下文长度为256K。到了Hy4 preview，总参数扩大至约2.6倍，激活参数翻倍，上下文窗口接近原来的4倍。
这次模型升级除了参数规模，也涉及注意力机制、残差连接和推理效率的整体调整。
一、770B总参数，为什么每次只激活49B？
Hy4 preview采用MoE，也就是混合专家架构。
模型主干共有78层。第一层使用标准稠密FFN，其余77层采用MoE结构，每层包含256个路由专家和1个共享专家。处理每个Token时，模型只调用其中8个路由专家，再加上共享专家。
上段内容有点抽象，解释一下：
你可以把MoE理解成一家拥有大量专家的研究机构。虽然机构里有很多不同领域的专家，但处理一个具体问题时，不需要所有人同时参与，只需要把最相关的几位专家叫进来。
因此，770B代表模型整体的参数储备，49B则是处理每个Token时实际参与计算的参数规模。
这种设计让模型能够扩大整体容量，同时控制单次推理的计算量。不过，770B权重仍然需要完整存储和部署，并不意味着普通消费级电脑就能轻松运行。
长上下文是Hy4 preview的另一项核心升级。
100万Token上下文意味着，模型单次可以处理更长的项目文档、代码库、会议资料和多文件任务，减少反复切分材料以及跨窗口传递信息的需要。
但上下文越长，注意力计算的负担也越重。为此，Hy4 preview采用了两项关键设计：Gated DSA稀疏注意力和IndexCache跨层索引复用。
传统全注意力机制需要让当前Token与大量历史Token进行关联。序列越长，计算压力越大。稀疏注意力则尝试先筛选与当前任务更相关的内容，再进行重点计算。
Hy4 preview使用的Gated DSA，会为查询位置选择最多2048个相关Token；IndexCache则允许部分层复用附近层已经计算好的稀疏索引，减少重复筛选工作。
换句话说，面对一座大型图书馆，模型不必每次都把所有书重新翻一遍，先找到最可能相关的页面，在后续处理中复用部分检索结果。
需要注意的是，100万Token代表模型的容量上限，并不保证它能完美记住和调取其中的每一条信息。实际效果仍会受到文档结构、信息密度和提问方式等因素影响。
二、iHC与原生MTP：扩展信息通路，提高生成效率
除了注意力机制，Hy4 preview还在残差通路中引入iHC，也就是identity Hyper-Connections。
传统Transformer通常使用一条主要残差通路传递信息，而Hy4 preview将残差流扩展为4条，为不同层之间的信息传递提供更多通道。
模型主干之外，还内置了一层原生MTP，用于推测解码。该层包含10B总参数和0.7B激活参数，可以提前生成候选Token，再由主模型进行验证，从而在合适的部署环境中提高生成效率。
这些设计共同服务于同一个目标：在扩大模型规模和上下文窗口的同时，降低长文本处理与实际推理的计算压力。
基准成绩与内部盲测表现如何？
从腾讯公布的数据看，Hy4 preview在长程编程和工具调用任务上提升明显。
在Terminal-Bench 2.1中，Hy4 preview得到85.4分，相比Hy3的70.8分提高14.6分；在DeepSWE真实软件工程长任务测试中，成绩从28.0提升至64.3。
腾讯还组织163名内部专家，对203个工程任务进行盲测。Hy4 preview平均得分2.99分，略高于GLM-5.3的2.92分和Kimi K3的2.94分。
不过，这组对比属于腾讯内部测试，任务分布和评估环境也由腾讯设计，适合用于观察其在真实工程流程中的表现，不能直接等同于第三方榜单上的全面领先。
因此，更准确的表述是：Hy4 preview已经进入开源模型第一梯队，并在部分编程、工具调用和生产力任务上达到领先水平，但还不能据此认定为所有维度上的“最强开源模型”。
Hy4 preview的训练和优化重点，明显从单纯回答问题转向完成完整任务。
在软件工程中，它加强了长程开发任务的理解、规划、调试和验证能力；在办公分析中，它强调跨文件协作，可以围绕多份材料完成数据分析，并交付文档、表格和演示文稿；在游戏开发中，它可以根据需求生成可玩原型，并结合游戏引擎进行多轮修改；在科学研究中，腾讯则将其应用于AI研发、分子动力学、凝聚态物理和基础数学等问题。
目前，Hy4 preview已经接入WorkBuddy、CodeBuddy、元宝和ima，开发者也可以通过腾讯云TokenHub和OpenRouter调用。
模型权重以Apache 2.0协议开放，并提供部署、量化和微调方案。这意味着开发者不仅可以调用API，也可以根据实际需求进行私有化部署和二次开发。
Hy4 preview并非没有局限。
770B总参数意味着完整部署仍需要较高的硬件投入；百万Token上下文也不等于所有长文本任务都能稳定完成。腾讯还承认，这一版本在复杂任务中存在思考时间较长、过度自我验证等问题，预训练和后训练仍有继续优化的空间。
另外需要区分的是，目前已经发布并开源的是Hy4 preview。10月29日，腾讯宣布正式版Hy4即将发布，将进一步强化长程任务和真实生产力能力，提高思维链效率，并首次引入视觉理解能力。
via https://mp.weixin.qq.com/s/6dmmAIhpnc2AKMTWLz5vBA
https://mp.weixin.qq.com/s/5L1-ON3EUhqrJqjmAuKpaw
