在人工智能参数规模不断膨胀的今天，动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而，近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器，竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。
挑战硬件极限:巨型大模型遇上老旧服务器
作为一款体量庞大的混合专家模型，Kimi K3的总参数量达到了2.8万亿，每个 token 仅激活约1040亿参数，官方标称的上下文更是高达104万 token。
面对如此巨大的数据体量，哪怕将其压缩至极限的1bit 量化，也需要数百 GB 的内存才能装得下，这显然超出了普通家用主板的承载极限。为了突破这一硬件瓶颈，该玩家剑走偏锋，使用了一颗40核的第三代至强可扩展处理器，并搭配了英伟达已经停产的傲腾持久内存200系列，实现了单条最高512GB 的超大容量支持。
巧妙软件调配:盘活停产傲腾内存作为主存
在具体的软硬件协同方案上，该玩家借助 llama.cpp 软件，将傲腾持久内存设置为 App Direct 模式，让其直接作为内存供程序读写，而不是将其作为硬盘缓存由系统自行调度。
不过，这种非主流的平民化方案也必须付出运行速度上的代价:
生成效率: 在1bit 量化下，实测生成速度仅为每秒0.85个 token;若关掉直接访问（DAX）模式，速度最高也仅能达到每秒1.5个 token。
实际耗时: 当切换至3bit 量化时，速度约为每秒0.75个 token。这意味着让它写几百字需要等待好几分钟，而如果要输出5万个 token 则长达18.5小时。
温控挑战: 傲腾硬件本身的功耗和发热也不容忽视。根据英伟达的数据表，该代产品单条功耗上限为18瓦，当介质温度达到83摄氏度时便会开始降频，一旦飙升至85摄氏度则会触发保护性关机。
值得一提的是，英伟达早在2022年第二季度便启动了傲腾内存业务的收缩，当季度计入了5.59亿美元的库存减值，这也意味着该产品线已经没有后续的下一代产品，这次硬核运行更像是一次面向极限边缘的极客致敬与可行性验证。
