❕ 作者声明:该图片由AI生成

作者 | 毛 烁
来源 | 至顶AI实验室
如果智能体可以在你睡觉的时候替你干活,你需要一台怎样的电脑?
我是在翻阅一份测试报告时,开始认真琢磨这个问题的。这份报告由Artificial Analysis在10月发布,测试了智能体的8项任务,包括写代码、查资料、改文件等日常工作。为了完成这8项任务,模型累计读入的提示词达到了260万个token。
其实,token数量达到这个量级并不意外,这是由智能体的工作方式决定的。智能体干活,要一步步推理,一次次调用工具,而每调用一次模型,它都要把之前所有的对话和工具返回的结果重新输入一遍。这样,轮次越多,上下文越长,读入的token也就越多。
token一多,耗时自然就长了。对于需要多轮推理、反复调用工具的复杂任务,智能体连续运行几个小时并不罕见。
既然一项任务要持续好几个小时,那么最适合让智能体干活的时间,就是人不在电脑前的夜里。下班前,我把任务交代给智能体。夜里,它在我自己的电脑上检索资料、编写代码、调试程序。第二天早上,我再来验收结果。
借用“睡后收入”的说法,我把这种夜间生产的方式称为“睡后经济”:人在睡觉,智能体在本地电脑这样的端侧设备上通宵干活,即使人不在电脑前,任务也能继续推进。
不过,要把这个想法落实下来,现有的几种方案都存在短板。笔记本虽然可以设置成合盖不休眠,但长时间高负载运行仍要兼顾散热和功耗。如果改用云端API,又要考虑成本,因为云端按token收费,智能体调用模型的次数越多,费用通常也就越高。
另一方面,数据安全也是个问题。智能体在干活时,需要读取我的本地文件、代码仓库,甚至是账号凭证。出于安全考虑,我并不愿意把这些数据长期交给云端。
要让“睡后经济”成为日常工作方式,就需要一台适合智能体长时间运行的本地设备,我管它叫Agent主机,也就是专门给智能体用的主机。这类主机需要更多地考虑智能体长时间运行时的需求。
传统电脑主要围绕人的操作习惯设计,屏幕、键盘和电源管理都服务于日常使用。而Agent主机的主要使用者是智能体,人负责分配任务、监督过程和验收结果。即便人睡觉了,它也能在后台继续工作。
那么,既然使用者变了,Agent主机对硬件的要求自然也不一样。我把这些要求归纳成了四个条件。
其一,Agent主机需要全天运行,因此整机必须能够长时间满载工作,并且不会因为过热而降频。
其二,复杂的Agent任务往往需要能力较强的模型,因此本地运行大模型时,内存容量必须足够大。
其三,大模型推理需要频繁读取模型权重,尤其在单路解码时,内存带宽会直接影响token生成速度。
其四,智能体可以直接读写文件、访问网络,一旦操作出错,就可能误删文件或泄露数据,因此系统必须能够限定智能体可以访问的文件和网络范围。
如果按照这四个条件去找,那么在最新发布的相关机器里,我选中了华硕ProArt GR1X 128GB。这是一台迷你主机,机身尺寸为150mm×150mm×51mm,体积约1.1L。
在功耗方面,GR1X作为紧凑型桌面主机 ,不受电池限制,芯片的功耗上限可以达到140W。华硕在官网上直接把它称为“Agent Computer”,它的设计目标就是全天开机。在内存方面,它配备了128GB统一内存,能够装下千亿参数级别的量化模型。
在核心配置上,GR1X搭载了NVIDIA RTX Spark 超级芯片。这颗芯片集成了20核Grace CPU和拥有6144个CUDA核心的Blackwell GPU,在FP4精度、开启稀疏的条件下,它的AI算力可以达到1 PFLOPS。
当然,参数只能说明它具备了作为Agent主机的条件,它能不能满足真实场景里的工作需求,还要通过实际测试来证明。
140W装进1.1L机身,NVIDIA RTX Spark打造桌面Agent主机
最近,这台GR1X送到了我手里。
拆掉外包装,把它捧在手里,我的第一感觉是小巧。整机重1.48kg,放在显示器旁边几乎不占地方。

华硕ProArt GR1X正面:金属网格前面板,右侧为电源键
不过,机身越小,散热的难度就越大,而全天开机最考验的恰恰是散热和供电。GR1X搭载的N1X芯片,TDP为140W,整机外接一个240W的USB-C电源,供电规格符合PD 3.1 EPR规范。
为了在1.1L的机身内承载140W的功耗,GR1X配备了双风扇,每个风扇有109片扇叶,散热模组还配有57片散热鳍片和4根热管,风扇转速可分7档调节。按照官方说法,这套散热系统的设计目标是支持7×24小时持续运行。
在接口方面,GR1X配有3个20Gbps的USB 3.2 Gen 2×2 Type-C接口,另有1个USB-C接口用于供电输入。
除此之外,还配有1个HDMI 2.1接口和1个10G RJ45网口,最多可以同时连接4台4K显示器。在无线连接方面,支持Wi-Fi 7和蓝牙5.4。
❕ 作者声明:该图片由AI生成

GR1X背部接口:从左至右依次为安全锁孔、USB-C供电接口(DCIN)、3个USB-C接口(支持USB与DP输出)、HDMI 2.1接口和10G网口,上方为散热出风口
机身内部设有两个M.2插槽,支持PCIe 5.0/4.0 SSD,最高支持4TB容量,模型文件和智能体的工作目录都可以存放在本地。
从机身尺寸、芯片TDP到电源规格,GR1X都很容易让人联想到DGX Spark。因为DGX Spark的机身同样在150mm见方,芯片TDP同样是140W,电源同样是240W。
同时,RTX Spark还有笔记本形态,它搭载的同样是N1X芯片,配备128GB内存。三台机器看起来配置接近,但适用场景有所区别。
DGX Spark搭载的GB10超级芯片与N1X同源,两者都采用Grace Blackwell架构,CPU核心数、GPU核心数和FP4算力也都相同。不过,两者运行的系统不同。DGX Spark运行的是基于Ubuntu的DGX OS,预装了NVIDIA面向数据中心的AI软件栈,开发者在本地写好的代码,可以直接迁移到云端的DGX集群中运行。
而GR1X运行的是WOA,使用Game Ready/NVIDIA Studio驱动,Adobe、Blender等创作软件安装后就能直接使用,智能体也能直接操作日常的Windows应用和文件。
再来看RTX Spark笔记本。它与GR1X采用的是同一颗N1X芯片,配备了6144核GPU、20核CPU和128GB统一内存。两者的差别主要体现在功耗上,NVIDIA给笔记本版N1X设定的TDP为45W~80W,只有台式机版140W的32%~57%。
而功耗上限越高,芯片在长时间满载时能够维持的频率就越高。笔记本是为移动办公设计的,需要兼顾续航和机身厚度,功耗上限自然不会设得太高。
所以,尽管三台机器的参数相近,但用途却各不相同。DGX Spark适合作为AI开发机和集群节点,RTX Spark笔记本则是随身携带的AI工作站。
而GR1X拥有140W的芯片功耗上限,面向长时间运行的任务而设计,且搭载Windows系统,智能体能够直接操作日常的应用和文件。同时,它接上电源就能全天开机,即便我出差在外,也可以远程控制。
综合来看,在三台机器里,GR1X是最接近Agent主机的形态是最适合普通人使用的全天Agent主机。
千亿模型跑出53.9 token/s!128GB统一内存释放本地AI“潜力”
然而,GR1X能否成为一台真正的Agent主机,还要放到实际场景中检验。
智能体的表现与底层模型的能力密切相关,而模型能否在本地运行,首先受到内存容量的限制。模型大不必然能力强。所以,我先从本地大模型的运行表现测起。
为此,我选择了三个参数规模递增的模型:270亿参数的稠密模型Qwen3.8-27B,每生成一个token都要读取全部权重,主要用来测试内存带宽。1200亿参数的MoE模型gpt-oss-120b,主要用来观察千亿参数级别的模型能达到什么速度。而1250亿参数的MoE模型Qwen3.8-Flash-Next,模型权重超过100GB,主要用来测试内存容量的上限。
测试中,三个模型统一使用llama.cpp推理框架,并将上下文统一设置为32K,同时记录了模型加载时间、首token延迟(从发出问题到输出第一个token的时间)和每秒生成的token数三项指标。
在本地部署Qwen3.8-27B(INT8量化)的测试中,模型加载用时12.8s,内存占用29.1GB,首token延迟0.5s,生成速度约9.4 token/s,一段474个token的回答用时约50.1s。

Qwen3.8-27B(INT8量化)加载完成后,任务管理器显示专用GPU内存占用29.1GB/96.0GB

Qwen3.8-27B推理日志:生成474个token用时50.1s,生成速度9.46 tokens/s
从这个结果来看,9.46token/s的生成速度,已经可以做到边生成边阅读。用INT8量化运行一个270亿参数的稠密模型,GR1X的内存占用还不到总容量的四分之一。
之所以能达到这样的速度,与NVIDIA RTX Spark N1X超级芯片的内存带宽有关。大模型生成token时需要反复读取参与计算的权重,因此在单路解码场景中,内存带宽往往是决定速度的重要因素。
Qwen3.8-27B是稠密模型,INT8量化后的权重约29GB。按照N1X约300.8GB/s的内存带宽粗略估算,带宽对应的生成速度上限在10 token/s左右,而实测达到了9.4token/s。
从生成速度来看,已经具备处理长文写作、文档审阅等任务的基本条件。
同时,模型常驻内存后,内存余量仍然很大,剪辑软件也可以同时运行。
如果更看重速度,换用Q4量化版本可以让每个token要读取的数据量减半。而换成每次只激活部分参数的MoE模型,每个token要读取的数据还会更少,生成速度也会随之大幅提升。为了验证这一点,我接着测试了gpt-oss-120b。
在本地部署gpt-oss-120b(MXFP4格式)的测试中,模型加载用时25.2s,内存占用61.3GB,首token延迟0.23s,生成速度达到63.9 token/s,一段981个token的回答用时15.3s。
gpt-oss-120b的参数量是Qwen3.8-27B的四倍多,生成速度却提高了约7倍。这意味着,在GR1X上,模型的参数量变大,生成速度并不一定变慢,千亿参数级别的MoE模型已经可以在这台1.1L的主机上流畅运行。
能达到这样的生成速度,是因为gpt-oss-120b采用MoE(混合专家)架构。它的总参数量虽然大,但每生成一个token只激活约50亿参数。再加上MXFP4量化降低了权重存储开销,同样是300.8GB/s的内存带宽,就能支撑更高的生成速度。
MXFP4格式的权重可以在N1X上运行。N1X的Blackwell GPU配备第五代Tensor Core,原生支持FP4运算。FP4以4bit表示浮点数,可显著降低模型权重的存储和访存开销。
N1X标称的1 PFLOPS,指的正是FP4精度下的稀疏算力。随着NVIDIA Blackwell架构支持FP4运算,越来越多的开源模型也开始提供4bit量化版本,千亿参数模型因此有了更适合本地部署的运行条件。
当然,速度快的前提是模型装得下。61.3GB的内存占用,已经远远超出消费级旗舰显卡32GB的显存容量,而N1X之所以能装下它,靠的是统一内存。这项设计沿用了DGX Spark中GB10的思路,CPU和GPU共用128GB LPDDR5X物理内存。
GR1X搭载Windows 11系统,用户还可以通过NVIDIA App灵活调整GPU的内存分配预算,最高可设置为96GB。
用gpt-oss-120b进行对话和代码补全时,几百字的回答几秒内就能完整输出,回答的生成速度已经接近部分云端模型的交互体验。通过本地推理,也能减少内容上传云端的需求。
那么,模型所需的内存超过96GB后,还能不能运行?为了验证这一点,我运行了三个模型中规模最大的Qwen3.8-Flash-Next。
在本地部署Qwen3.8-Flash-Next(Q4量化+MTP)的测试中,模型加载用时91s,系统已提交内存达到130GB,首token延迟0.54s,生成速度达到24.31 token/s。加载完成后,任务管理器显示的可用内存只剩2.4GB。

Qwen3.8-Flash-Next加载完成:左侧为加载日志,右侧任务管理器显示已提交内存130/137GB、可用内存2.4GB、缓存18.0GB,内存速率9400 MT/s

Qwen3.8-Flash-Next生成800字作文,首token用时0.4s
GR1X在GPU内存分配预算设置为96GB时,依然运行起了更大规模的模型,生成速度达到34.6token/s。具体来看,Qwen3.8-Flash-Next的Q4量化版本,模型文件就有104GB。再加上4B参数的MTP草稿模型和32K上下文,内存压力进一步增加,加载完成后系统可用物理内存只剩2.4GB。
模型之所以能装下,与统一内存的灵活分配有关。我在NVIDIA App中把GPU内存分配预算调到96GB,又在Windows中调大了虚拟内存。加载完成后,任务管理器显示系统已提交内存约130GB。这里的“已提交内存”包含物理内存与页面文件支持的虚拟内存,并不等于模型实际占用了130GB物理内存。

NVIDIA App中,将“GPU内存分配”调至最大值96GB
尽管模型带来了很大的内存压力,实测生成速度仍达到34.6 token/s。除了统一内存,N1X内部的NVLink-C2C互连也为大模型运行提供了高速互连条件。
在传统独立显卡平台上,模型权重如果放不进显存,部分数据就需要通过PCIe在系统内存与GPU之间传输。PCIe 5.0 x16的理论单向带宽约为64GB/s,额外的数据传输可能拖慢推理速度。
而N1X采用的NVLink-C2C提供最高600GB/s的CPU与GPU互连带宽,并支持缓存一致性,让CPU与GPU共享数据。这一互连带宽与约300.8GB/s的物理内存带宽各有分工,共同构成Grace Blackwell平台的内存架构。
此外,MTP(多token预测)也被用在这套模型的推理中。它属于投机解码技术,可以先由草稿模型预测后面的几个token,再交给主模型验证,预测正确的部分直接采用。
主模型一次验证就可能确认多个token。启动参数显示,草稿模型每次最多预测3个token。

Qwen3.8-Flash-Next启动参数:加载MTP草稿模型,每次最多预测3个token,上下文设为32768,KV缓存采用q8_0格式
达到34.6 token/s的速度,已经能够满足日常对话和代码编写的需求。过去,要在本地流畅运行千亿参数级模型,通常需要大容量显存或多卡配置,而现在,一台1.1L的主机就能单机运行这类模型。
首token延迟低至0.35秒,Grace CPU与Blackwell GPU协同运行Agent
大模型测试衡量的,是GR1X能装下多大的模型,以及模型回答单个问题时的速度。然而,智能体的工作方式要比一问一答复杂得多。智能体完成一项任务,要一步步推理、一次次调用工具,往往需要连续调用模型几十轮,整个过程可能持续一整夜。
单次推理快只是第一步。整项任务的效率,还取决于每一轮要等多久,以及整机能否长时间稳定、安全地运行。
在首token延迟测试中,三个模型的首token延迟都在0.35s~0.6s之间。
模型通常不到一秒就开始输出。智能体的一项任务往往要经历几十轮推理,如果每一轮多等几秒,累积下来就是好几分钟。所以,首token延迟越低,整夜运行的任务就越不容易被拖长。
测试中的首token延迟这么低,是因为单个问题的提示词较短,N1X的Blackwell GPU很快就能完成计算。到了智能体的多轮任务中,上下文会越来越长,不过推理框架普遍支持前缀缓存,可以直接复用已经算过的部分。
当前缀缓存命中时,推理框架可以复用已经计算过的上下文,减少重复处理,提升Agent多轮调用模型的效率。
多轮任务的效率,除了取决于GPU推理,还和CPU有关。智能体在每一轮中,除了等待模型输出,还要编译代码、解析网页、读写文件,这些工作都由CPU承担。N1X的CPU是20核Grace CPU,由10个Cortex-X925性能核和10个Cortex-A725能效核组成。
有了这20个核心,GPU处理模型推理时,CPU也能同时运行工具、读写文件和执行其他任务。
再看长时间运行。按照华硕官方的介绍,GR1X的散热系统针对持续负载进行了设计;10G网口则方便智能体从局域网中的NAS读取数据,并在任务完成后把结果写回共享目录。
在机器能够持续运行之后,我更关心的是,能不能放心地把智能体留在后台运行。智能体可以执行代码、读写文件、访问网络,一旦它误删了文件,或者泄露了账号凭证,后果都要由我来承担。
针对这个问题,NVIDIA提供了OpenShell。它通过隔离沙箱和策略管理,为后台运行的Agent提供文件访问、网络连接及凭证使用的权限隔离和行为审计手段。
Windows上的Agent工具生态也在不断完善,包括GitHub Copilot、OpenAI Codex、OpenClaw、LM Studio等;华硕还为GR1X准备了自己的本地智能体Zenni Claw。
在具体场景方面,作为一台被设计为7×24小时在线的Agent PC,ProArt GR1X(128GB)的首要落地场景便是充当全天候AI助手。最近,我也现场体验了三类运行于华硕ProArt GR1X上的应用场景,分别涵盖个人工作Agent、大型3D创作、音视频处理。
先看个人工作Agent。华硕ProArt GR1X上的RTX Spark专区提供了本地模型的下载、部署和配置入口,模型准备完成后,用户可以采用WorkBuddy在本机调用该模型。由于GR1X适合长时间开机,WorkBuddy也不必局限在电脑前使用,手机微信可以作为远程入口,飞书则可提供工作消息和文档信息。
手机中输入“帮我列一下今天的待办列表”后,指令会通过微信传到华硕ProArtGR1X。WorkBuddy随即读取飞书中的消息,调用本地模型整理与工作相关的信息,再按照紧急程度生成待办列表。除了列出需要处理的事项,它还会补充相应的工作安排和下一步建议,并将结果同步回手机微信端。
❕ 作者声明:该图片由AI生成

WorkBuddy整理工作信息,并通过微信与手机端交互
进一步,任务还可以沿着前一轮上下文继续推进。输入“请帮我准备一下管理层的汇报”后,WorkBuddy会结合飞书中的上下文,通过预置脚本找到汇报所需的演示文稿,返回可以直接打开的文档链接,并整理PPT中需要修改的内容。从汇总待办到查找汇报资料,模型推理和工具调用都在华硕ProArtGR1X本地完成,用户在外出时也能通过手机继续调用这台机器上的WorkBuddy处理办公信息。
音视频处理场景中,华硕ProArt GR1X可以在UE 5中直接打开完整的城市场景。

UE 5街景视图:街边车辆可供选中和编辑
完整城市工程载入后,场景中的汽车可直接选中并修改。视角继续拉远,更多建筑与道路相继显现。设计师既可纵览城市整体布局,亦可推近至街道视角,调整具体车辆;视角切换与对象编辑,均在同一工程内完成。

拉远视角后的UE 5城市场景
城市场景同时启用了实时光线追踪、DLSS 与帧生成。无论选中汽车、缩放场景抑或调整视角,光影均随操作实时刷新,预览过程始终保持流畅。这得益于华硕ProArt GR1X配备的128GB统一内存,足以容纳整座城市的模型与纹理数据;GPU 由此完成实时渲染,DLSS 与帧生成则进一步提升预览帧率。
第三类场景是通过Agent调用NVIDIA Broadcast处理音视频。开启降噪后,原始录音中的拍掌声和环境噪声明显减弱;摄像头画面经过超分辨率和插帧后,也从2K、30FPS提升至4K、60FPS。
处理本地视频时,只需语音提出要求,Agent便会查找指定目录中的两段1080P、30FPS素材,通过MCP调用NVIDIA Broadcast,将其处理为4K、120FPS。两段视频约一分钟完成,原文件继续保留,处理后的画面更清晰,运动也更加流畅。

视频处理结果对比:左侧为原始素材,右侧为4K、120FPS处理结果
MiniMax H3 418秒生成视频!NVIDIA RTX Spark的本地AI创作力
除了作为Agent主机,GR1X还属于华硕的ProArt创作者系列,它在创作场景中的表现同样值得关注。为此,我又加入了两项测试,一项是比大模型推理更消耗资源的视频生成,另一项是几款常用专业软件的运行测试。
在MiniMax H3视频生成测试中,我用ComfyUI加载工作流,将分辨率设置为864×480,生成一段5s的视频用时418s。生成过程中,GPU占用率达到97%,GPU内存占用峰值为53.9GB。生成的内容是一段人物在黄昏天台上起跳的镜头,生成画面中的人物动作较为连贯,建筑结构和光影也基本保持一致。

MiniMax H3生成结果:人物在黄昏天台上起跳的5s视频,分辨率864×480

ComfyUI生成过程中,任务管理器显示GPU利用率97%,专用GPU内存占用49.8GB/96.0GB
用约7分钟生成一段5秒视频,对于需要反复调整提示词、批量挑选素材的创作者来说,已经有了实际应用价值。本地生成无需支付按次计费的云端生成费用,但仍需承担硬件和电力成本。
视频生成能在本地完成,靠的仍是N1X的统一内存。视频生成需要同时加载文本编码器、扩散模型和解码器,53.9GB的GPU内存峰值,已经超出了顶配消费级独立显卡32GB的显存容量。而N1X最高可以分配96GB GPU内存,能够一次放下整条工作流,不必反复卸载和加载模型。

ComfyUI中的MiniMax H3图像转视频工作流:宽高比16:9,时长5s
对于需要反复修改提示词、多次生成来挑选素材的创作者来说,这同样是一种“睡后经济”的工作方式:睡前排好一批生成任务,第二天早上再挑选成片。
另外,在专业软件方面,我还比较关心Arm架构Windows的软件兼容性。过去几十年,Windows软件大多面向x86架构开发,没有原生适配的软件,在Arm平台上只能靠转译运行。
所以,我挑选了剪辑、修图和3D三类最常用的软件,逐一打开进行验证。
在Premiere Pro测试中,我导入了一个包含视频、字幕、音频和配乐四条轨道的完整工程,在拖动时间线时,预览画面始终流畅。

Premiere Pro打开包含视频、字幕、音频和配乐四条轨道的完整工程
Arm架构的Windows已经可以运行常用的多轨道剪辑工作流。Premiere Pro已有Arm适配版本;对于支持硬件加速的视频格式,N1X的专用编解码单元也能承担部分处理任务。
在GR1X上,Premiere Pro可以顺畅打开并预览这套包含多条轨道的剪辑工程。
Photoshop 的图片打开速度表现良好,生成式填充功能可正常使用。测试时,我沿画面中的电线选定区域,并输入提示词 “春天变为冬天”,生成内容与原图光影、透视关系衔接自然。


Photoshop生成式填充:框选电线区域后输入“春天变为冬天”
Adobe已经推出Arm架构适配版本,GR1X可以正常使用常用修图功能。设计师可以在同一台主机上完成剪辑、修图和AI生成,不必在不同设备之间来回切换。
在Blender测试中,我加载了一个大型理发店室内场景,视图的旋转和缩放都十分流畅。

Blender加载理发店室内场景,渲染引擎为Cycles,设备为GPU Compute
在室内场景中,GR1X的视图操作流畅,大容量GPU内存也为处理复杂3D场景提供了空间。
按照NVIDIA的介绍,RTX Spark平台最高可处理90GB的3D场景,这为建筑可视化、影视制作等复杂3D场景提供了更大的本地处理空间。
写在最后:当AI成为电脑的主要使用者,“睡后经济”还有多大空间?
十几年前,不少人夜里挂着迅雷、电驴下载电影,第二天早上起来看结果。那时,电脑在夜里完成的是下载任务。
现在,Agent已经可以调用工具、编写代码、生成内容,电脑在无人值守时能够承担的工作,开始有了新的想象空间。
如果一台电脑的主要使用者是AI,那么人和机器之间的分工也会发生变化。人提出目标、划定权限、监督过程、验收结果,Agent负责执行具体任务。过去个人需要亲自完成的资料整理、代码调试和素材制作,可以交由自己的Agent持续推进。
这也让我觉得,“睡后经济”值得深度探索的地方还在后面。
一个人拥有一台Agent主机,就有机会建立自己的AI工作系统;如果同时管理多个Agent,个人能承担的项目规模,甚至团队内部的协作方式,都可能因此改变。企业未来为员工配置的,或许还会有专门供Agent工作的本地算力。
从DGX Spark到RTX Spark,NVIDIA正在让千亿参数级大模型走进个人和团队的日常工作。128GB统一内存和Grace Blackwell架构,能够支持Agent在本地持续运行。
随着Agent承担越来越多的具体工作,人也可以把更多精力放在任务规划、过程监督和结果验收上。这正是我期待的“睡后经济”:让AI在我们休息时继续工作,让一台Agent主机成为能够持续创造价值的生产力工具。
END
本文来自至顶AI实验室,一个专注于对AI计算机、工作站及各类AI相关硬件设备,开展基于真实使用场景评测的研究机构。







