北京商报讯(记者 魏蔚 鲁芹)11月5日,百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。在架构与参数方面,文心5.5 Flash Base采用MoE(混合专家模型)架构,总参数量达2800亿,每个Token激活140亿参数。模型使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,在微调与推理阶段更支持最长100万Token的上下文。
该模型在知识、推理、数学、代码、多语言和长上下文等多个基准测试中,取得了同尺寸模型的SOTA(当前最优)表现。目前该模型已在Hugging Face平台开源。







