Token导航 LogoToken导航

AI 资讯 · 福布斯

摩尔线程完成Kimi K3.1 Pro训练链路适配验证

更新 2026-11-18福布斯正文 1023字阅读约 4分钟

11月17日,摩尔线程宣布,其实验室已完成月之暗面Kimi K3.1 Pro模型的训练链路适配,并在双机16卡配置下连续完成400步训练验证,未出现数值溢出或异常中断。Kimi K3.1 Pro为2.8万亿参数MoE架构原生多模态模型,从架构特性看,其动态稀疏注意力与专家路由机制对多卡通信和显存管理构成较高门槛。

从厂商披露看,国产GPU与大模型适配节奏持续加快。据壁仞科技2026年中报,数家大模型企业使用壁砺千卡集群完成多模态预训练与强化学习,精度对齐国际产品;寒武纪2026年半年度业绩说明会披露,其训练侧推进DeepSeek、Qwen、混元等系列训练适配,向千卡、万卡集群场景延伸;百度在Create 2026上公布,昆仑芯P800全国产集群完成文心5.1重要版本训练,有效训练率97%;据海光信息2026年半年度材料披露,其DCU已适配400余款主流大模型,覆盖99%非闭源大模型。

相较之下,摩尔线程本次单独披露400步连续训练、损失曲线与梯度检查细节;从公开披露口径看,针对2.8万亿参数MoE多模态模型披露这类工程细节的案例仍属少见。需要注意的是,本次仍为裁剪配置下的训练链路验证,不等同于完整全规模预训练。

本次测试采用裁剪配置,语言主干截取13层、16路由专家(Top‑8激活),保留完整27层视觉塔与跨模态投影模块,基于MedPix‑VQA图文数据集随机初始化训练。据摩尔线程实验室披露,训练损失由8.9365(第21—70步均值)收敛至2.1802(末50步均值),验证集损失由6.5297降至4.6873,显存峰值44.80GiB,视觉分支参与参数更新。

从工程维度看,本次适配重点不在单卡峰值,而在分布式训练链路的系统性打通。摩尔线程补齐Kimi K3.1 Pro混合注意力与MoE算子的前向、梯度实现,依托FSDP2对参数、梯度与优化器状态做分片管理,跨节点通信由MCCL负责。官方称,本次仅为裁剪配置下的链路验证,用于检验训练功能与损失趋势,完整规模预训练另行开展。

据TrendForce集邦咨询预测,2026年中国市场高端AI芯片出货量约500万片、同比增83%,本土方案份额接近90%(含云厂商自研ASIC)。摩尔线程此次披露的400步连续训练与梯度检查结果,为国产GPU在训练侧的可复现性提供了一个可参照的工程节点,但从裁剪配置到完整万亿参数模型的全规模训练之间,仍有集群规模扩展与长稳运行的考验需要跨越。

封面图片:摩尔线程官网

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。