Token导航 LogoToken导航

AI 资讯 · Aike

大模型选型应用指南国标发布 671B模型需1250G显存

更新 2026-11-15Aike正文 1254字阅读约 4分钟5 张图片

《人工智能 大模型选型和应用指南》今年 7 月发布,编号 GB/Z 201,国家标准化指导性技术文件,23 页。牵头起草的是中国电子技术标准化研究院,南方电网、阿里云、华为云等 22 家单位一起署名,2026 年 7 月 30 日起实施。它不评谁在榜单上领先,讲的是从想用到用起来要过几道关:先算钱,再算卡,最后才算模型。

选型真正的门槛不在参数表,在你的机房放不放得下它。

图片

正文六章,讲原则、准备、数据、选型、部署、评估和风险;附录更像工具箱,给了算力公式、模型分类、显存对照和压缩方案。适用对象写得很宽:凡是打算上大模型的单位都能用,不分行业,也不分大小。这篇不按章节顺序走,按一次真实选型会遇到的顺序走:先看流程,再算显存,卡不够就看压缩,最后定部署方式。

01 五步流程,第一步不是比模型

流程是选型准备、数据准备、选型与优化、部署应用、应用评估,风险管理从头跟到尾。起始那一步叫策略规划和现状评估:先算投入产出,再盘自己有什么家底。跳过这一步直接比模型,后面每一步都要返工。现状评估要盘三样东西:数字化到哪一步、手上多少算力、团队里有没有人能接住它。

图片

02 六条原则里,最容易被跳过的是适合性

文件列了六条:合理性、适用性、适合性、可解释性、完善性、安全性。合理性和适用性讲的是值不值、对不对路,适合性讲的是技术和你的人配不配。自己维护不动的模型,上线那天就是负债。这条最容易被跳过,因为它不写在采购清单里。

03 显存决定你能选多大的模型

附录那张对照表最实用:1.5B 要 3G、7B 要 13G、32B 要 48G、70B 要 130G、671B 要 1250G。按一张 80G 的卡折算,70B 占两张,671B 要十六张。选型先数卡,再谈分数。这张表也能倒着用:预算定死之后,先算能买几张卡,再推能上多大的参数。

参数规模
最低显存
最低算力
80G 卡
7B
13G
1.7×10¹⁴
1 张
32B
48G
8×10¹⁴
1 张
70B
130G
1.7×10¹⁵
2 张
671B
1250G
1.7×10¹⁶
16 张
图片

04 卡不够就量化,4-bit 省下四分之三显存

附录给了三条降配路:8-bit 量化省一半显存,性能损失不到 2%;4-bit GPTQ 省 75%,损失不到 5%,适合手机这类边缘设备;ZeRO Offload 省 60% 到 80%,代价是延迟多两成,好处是单卡就能微调 70B。压缩不是免费的,精度损失会在长文本和多轮对话里放大。先压,再考虑换小模型。

图片

05 部署三选一,按体量挑

中小微直接买 MaaS 服务,按调用付费;数字化底子好、数据敏感的走私有化部署;龙头企业自建智算中心,支持万卡级集群。怎么挑有个简单标准:数据出不出门。文件还要求灰度发布和回滚预案,先小范围放,看指标再扩量。

图片

写在最后

这份文件真正能救人的地方,是把选型从比分数拉回到算账:多大的模型、要多少显存、掉多少精度、花多少钱。同一件事,别处讲趋势,它给的是公式和表。

真正难改的也不是技术,是采购习惯:过去买软件看功能清单,现在得先问机房还剩几个槽位。先把这三笔账算清,模型的聪明才有意义。

GB/Z 201-2026 人工智能 大模型选型和应用指南.pdf

文章标签大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。