凤凰网科技讯（作者/云飞） 11月5日，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。该模型采用MoE架构，总参数量2800亿，每个Token激活140亿参数，使用33.5万亿Token完成预训练，预训练上下文长度最高128K，微调与推理阶段支持最长100万Token上下文。
据百度介绍，文心5.5 Flash Base在知识、推理、数学、代码、多语言及长上下文等多项基准测试中，取得同尺寸模型的SOTA表现。模型围绕“效率”进行系统性优化：在注意力机制上提出Latent-Gated Sparse Attention，结合混合稀疏注意力、低秩门控注意力与虚拟头注意力，降低长上下文处理开销；在专家路由上采用Multi-Router Latent MoE，由多个独立路由器共同参与专家选择；训练目标上引入ECHO，复用主干最后一层学习预测后续Token，提升推理与代码能力，且无需额外增加MTP模块。
此外，百度改进了分布式Muon优化器，并推出面向大head dim的注意力算子FlashMask-4，以提升大规模训练中的通信与显存利用效率。作为Base模型，文心5.5 Flash Base为开发者预留了微调与定制空间，可基于业务需求构建专业模型。模型已在Hugging Face开源。
