5月29日,面壁智能联合清华大学、OpenBMB开源社区联合发布并开源两大最新数据集:Ultra-FineWeb-L3与UltraData-SFT-2605。其中,Ultra-FineWeb-L3包含高质量中文+英文网页合成数据,总量突破600BTokens,中文占据200B+Tokens,是目前开源规模最大的中文预训练合成数据集;UltraData-SFT-2605是 国内首次开源的千万级、同时包含深思考与非思考标注的SFT数据集。MiniCPM5-1B的训练过程,是UltraData分级治理体系的一次完整实践,此次上新的两大数据集Ultra-FineWeb-L3与UltraData-SFT-2605均已在MiniCPM5-1B的训练流程中得到完全验证,覆盖从预训练退火到后训练SFT的全链路。(澎湃新闻记者 范佳来)
AI 资讯 · 澎湃新闻
面壁智能联合清华大学、OpenBMB开源社区联合发布并开源两大最新数据集
更新 2026-05-29澎湃新闻正文 362字阅读约 2分钟
资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。
上一篇资讯
面壁智能「开源周」:一场定义端侧 AI 终局的系统性「亮剑」
5 月 25 日至 29 日,面壁智能联合 OpenBMB 开源社区,以每日发布一项关键技术成果的节奏,举办了一场「端侧大模型开源周」。 这在中国乃至全球的大模型公司中,都是一次极为罕见的集体「亮剑」。 翻开过去三年的历史,也仅有以「效率美学」著称的 DeepSeek 在 202...
下一篇资讯
CVPR 2026:深度学习的「标准件」,正在被逐个拆掉
注意力的浮点精度不是必须的,归一化流的"精确可逆"是可以放弃的…… 作者丨马晓宁 编辑丨岑 峰 这里有一幢大楼,叫做深度学习。 过去几年,人们不停地给它加盖、扩建,越盖越高,越盖越复杂。这幢大楼叫 Transformer。盖楼时用了一大批标准件,浮点精度是它的钢筋,层归一化和残差...







