Token导航 LogoToken导航

AI 资讯 · 快科技

三张Tesla V100组AI主机跑Qwen 3.6速度胜M5 Max

更新 2026-11-20快科技正文 1225字阅读约 4分钟3 张图片

快科技11月20日消息,开发者Devon Bray利用3张退役的NVIDIA Tesla V100显卡,搭建了一台本地AI主机,运行Qwen 3.6 35B模型时,最高达到每秒100.8个Token,在长上下文测试中还超过了搭载M5 Max的苹果Mac Studio。

这套主机的核心是3张16GB显存的Tesla V100,总显存容量为48GB,开发者采用Supermicro X10DRG-Q双路主板,搭配Intel Xeon E5-2687W处理器和Corsair HX1500i电源,使用llama.cpp进行本地模型推理测试。

按照开发者提供的采购价格,3张V100合计655.16美元,主板211美元、电源147.70美元,单颗处理器28.20美元,核心硬件合计约1042美元(快科技注:约6951元人民币)。如果计入实际使用的第二颗CPU,则增加到约1070美元(快科技注:约7138元人民币)。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

为了验证旧显卡的实用性,开发者对Tesla K80、P100和V100分别采用1至3张显卡的组合,围绕Qwen 2.5、Gemma 4及Qwen 3.6等模型进行了130多项测试,覆盖4K至128K上下文长度以及不同量化精度。

其中,3张V100运行8bit量化的Qwen 3.6 35B时,4K上下文下达到100.8 tokens/s,32K下为89.4 tokens/s,64K下为83.5 tokens/s,即使扩大到128K,仍能保持72.7 tokens/s。

开发者将70 tokens/s视为实时交互的参考门槛,也就是这套旧显卡配置在128K下仍达到了目标。

Qwen 3.6 35B采用混合专家(MoE)架构,总参数量约350亿,但每个Token只激活约30亿参数,这也是其生成速度明显领先同级稠密模型的重要原因。

同一平台运行Qwen 3.6 27B稠密模型,4K上下文下只有24.3 tokens/s,128K时降至14.2 tokens/s。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

更有意思的是苹果Mac Studio的对比结果,搭载40核GPU、128GB统一内存的M5 Max Mac Studio售价5399美元(快科技注:约36020元人民币)。

测试数据显示,在Qwen 3.6 35B的8bit测试中,Mac Studio在4K和32K上下文下分别达到105.5和91.1 tokens/s,略高于3张V100;到了64K和128K,V100组合则以83.5和72.7 tokens/s反超Mac Studio的78.5和61.3 tokens/s,128K下领先约19%。

九年前的NVIDIA旧显卡翻身!3张V100合力跑AI:性能胜过苹果M5 Max

测试还体现出旧显卡的代际差距。3张P100运行相同模型的8位版本,在4K和128K上下文下分别只有55.2和40.2 tokens/s。

旧款Tesla显卡也有明显的装机门槛,V100属于面向服务器的加速卡,许多型号没有普通消费级显卡的主动散热设计。

开发者专门为每张卡制作了3D打印风道,并使用额外的风扇解决散热问题。旧平台的体积、噪声、耗电和配件成本,也需要一并考虑。

文章标签英伟达大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。