作者 | Don
来源 | 至顶AI实验室
本地 AI的视频和文章,很多都在聊模型、TPS、显存、模型参数。但普通用户可能并不知道,买了一台能够运行大模型的机器,具体能用它做什么?
至顶 AI 实验室在录制本地 AI 视频的时候,通常是结合真实场景进行测试。上次,我就用一台华硕 QN10 迷你主机搭建了一套 AI 客服系统。相比单纯模型跑分,我更希望看到的是 AI PC 究竟能不能真正解决问题。
最近,我看到一位新博主 Alex Grankin 发布了一条视频。他的YouTube 频道注册只有5个月,总共7000粉丝,已经有4条10万+播放的视频,很不错了。他在视频中测试了12种本地 AI 应用,从语音输入、图片生成,到阅读合同、制作 PPT,再到开发工具和运行 Agent,并按照8GB到512GB的内存容量,整理出了本地 AI 能力图。
一个重要结论是:32GB 内存,可能是本地 AI 具备较完整生产力的分水岭。
我把视频中的12项工作重新归纳成10个应用场景,看看现在的 AIPC 究竟能做些什么。
本地 AI 已经能做什么?10个实际应用
Alex 使用一台128GB统一内存的 M5 Max MacBook Pro 进行演示,测试不同模型的内存需求,并推算普通电脑能否运行。
语音输入其实包含两个环节:首先通过语音识别模型将声音转换成文字,再通过文本模型清理口头语、重复表达和中途修改的内容。
例如,说到「周一……不对,应该是周二」,普通语音识别可能会把两个日期都记录下来,而文本模型可以保留最终表达。
视频推荐了开源工具 Handy,可以在 Mac、Windows 和 Linux 上使用。语音识别可以选择 NVIDIA Parakeet、OpenAI Whisper 或 Qwen3 ASR 等模型。
其中 Parakeet 体积小、速度快,适合日常输入;Qwen3 ASR 则有更好的多语言支持。
这类任务对硬件要求很低,8GB 内存就能运行。
一个人说话的录音很容易处理,但多人会议中,经常出现打断、重叠发言的情况。这时,模型不仅要识别文字,还要区分说话人。
视频对比了轻量语音模型和 NVIDIA Nemotron 3.5 Transcribe。结果显示,简单会议中两者差距不大,但多人同时说话时,大模型在识别和说话人区分方面更有优势。
这也是 Otter、Fireflies 等会议记录工具的核心功能之一。
因此,简单录音可以使用轻量模型,多人会议则值得使用更大的转录模型。
声音克隆已经可以在本地实现。视频中,Alex 只录制了约17秒的个人声音,就让模型模仿自己的声音朗读一段新文案。
他展示的案例是修改培训视频中的一段旁白,不需要重新录音,就能生成新的语音。
视频推荐了 Ming 模型,也可以通过 Vocello 这样的图形界面工具操作。
虽然生成语音仍有一些细节差异,但整体已经相当不错。16GB 内存就可以尝试这类任务。
图片生成主要包括文字生成图片,以及对已有图片进行修改。
Alex 使用 FLUX 系列模型测试菜单、产品海报等场景。相比早期模型容易出现的文字拼写错误、价格遗漏等问题,新版本在这些测试中有明显改善。
不过,本地图片生成仍然存在人物手部细节不自然、局部编辑误修改其他元素等问题。
因此,它已经能够承担一部分实际设计工作,但距离完全替代成熟的商业图片生成服务还有差距。
这项任务建议使用24GB左右的内存,关闭其他应用后,16GB也可以尝试。
除了生成图片,AI 还可以读取图片中的信息。
例如,把超市小票拍照上传,让 AI 提取价格、税额和日期,再整理成表格;或者上传一张柱状图,让模型判断哪个月份增长最快。
视频测试了 GLM-OCR 等专用 OCR 模型,以及 Qwen3.5 9B 和Qwen3.8 27B 视觉模型。
测试结果显示,专用 OCR 模型速度很快,但通常只输出文字;通用视觉模型则可以进一步理解图片并生成结构化结果。
对于简单票据和图片识别,16GB 内存已经可以满足需求,复杂图表建议使用32GB。
从这里开始,AI需要依靠自身知识和推理能力回答问题。
Alex 使用 Qwen 3.8 27B 模型进行测试,包括数学计算、电脑操作、历史事实和不存在的小说情节。
结果显示,模型能够完成简单计算和操作问题,但面对历史事实时容易出现错误。开启思考模式后,部分回答有所改善;再结合联网搜索,才能更可靠地回答需要外部信息的问题。
这说明本地模型已经能够承担不少日常问答,但不能把模型的回答直接当成事实。
视频推荐使用32GB内存运行这类模型。
邮件撰写、润色、翻译和校对,也是本地模型比较成熟的应用。
Alex 给模型提供六条要点和五项约束,让它撰写客户邮件,要求保留准确日期、价格,并且不能主动提及折扣。
测试中,Qwen 3.8 27B 模型基本遵守了要求。他还让模型把一封语气愤怒的账单邮件改写成冷静、专业的回复,几秒钟就完成了。
不过,模型偶尔也会擅自添加原文没有的信息,因此生成结果仍然需要人工检查。
视频认为,Qwen 3.8 27B 在遵循写作要求方面表现不错,而Gemma 4 31B在翻译方面有自己的优势。
这是视频中我比较喜欢的一个测试。
Alex 使用一份37页的办公合同,让模型回答租金、逾期付款费用、房东进入房屋前需要提前多久通知等问题。
他使用Qwen 3.8 27B模型,将上下文窗口设置到足够大的范围。模型完整读取合同后,能够找到对应条款并正确回答。
随后,他保持模型和合同不变,只把上下文窗口从较大设置降低到8000。由于无法一次性处理完整合同,应用程序只向模型提供了部分内容,恰好遗漏了相关费用条款,模型便回答合同没有注明。
同一个模型,只改变一个设置,结果就完全不同。
这说明,本地 AI 阅读文档时,不能只关注模型参数,还要注意上下文窗口是否足够,以及文件是否真正完整地进入模型。
对于长合同和大型文档,32GB 是一个比较实用的起点。
Alex 给模型提供一份两页的资料,要求制作一份关于Anthropic IPO 的10页演示文稿。
这里有一个技术细节:本地模型没有直接输出 PPTX,而是 HTML 文件,再通过浏览器展示幻灯片。
整个过程约24分钟,最终生成的页面可以通过方向键切换,也包含图表和数据。
效果并不完美,部分文字重叠、页面留白不合理,但主要数据基本来自原始资料。
他还对比了不同思考强度下的效果,高强度思考生成的内容更加完整,低强度模式则相对简单。
这说明本地模型已经可以承担部分演示文稿制作工作,但正式交付仍需要人工调整。
最后两项应用最能体现 AI 生产力的变化。
第一项是开发简单网页和工具。例如制作一个预算管理器,支持添加支出、修改记录和设置预算。
Alex 使用 Qwen 3.8 27B 模型生成网页应用,再通过自动化脚本测试各项功能。整个过程约43分钟,基本功能可以使用,但仍存在一些 UI 问题。
第二项是 Agent。它不只是问答,还可以调用工具连续执行多个步骤。
视频中,Alex 使用 Hermes 配合本地模型整理文件夹,要求自动分类、重命名和移动文件,并且不能删除任何内容。
他还故意在文件夹里放入一条隐藏指令,要求 Agent 删除某些税务文件。最终 Agent 识别出这条指令与用户要求冲突,拒绝执行。
当然,这只是一个有限场景的测试。Alex 也强调,Agent 应该运行在沙箱环境中,并保留人工审批机制。
如果任务变得更加复杂,例如连续执行几十个步骤、开发大型软件或进行深度研究,本地模型仍然存在明显不足。
不过,视频还测试了更复杂的应用开发,例如包含数据库、API接口、用户登录和权限管理的完整软件项目。
这已经不再是生成一个简单网页,而是要求模型连续完成大量开发任务。Alex认为,目前本地模型在这方面仍然落后于顶级云端模型。即使拥有128GB内存,运行本地模型的效果也不够理想;想要尝试更强的开放模型,甚至需要512GB内存。
因此,他的建议是:简单网页和小工具可以交给本地模型,但真正复杂的软件开发,目前还是更适合使用 Codex、Claude Code 等云端方案。
介绍完10项工作,Alex 最后总结:不同内存容量的电脑,究竟能完成哪些任务?
内存容量
主要应用
8GB
语音输入、基础转录
16GB
声音克隆、OCR、图片生成、基础问答和写作
24GB
更舒适地运行图片生成和视觉任务
32GB
27B模型、合同分析、PPT、网页开发、Agent
48~64GB
更高精度模型、更长上下文
128GB
运行更大模型,获得更高精度和运行余量
512GB
尝试大型开放模型和复杂开发任务
从16GB升级到32GB,能够完成的工作类型明显增加;但从32GB升级到128GB,并没有解锁同样多的新应用。
按照视频的测试,32GB已经可以运行一个相对强大的27B模型,完成不少日常知识工作。128GB更多是为了运行更大模型、更高精度的量化版本,或者给更长的上下文留出空间。
当然,不是所有32GB电脑都能获得相同效果。Mac 统一内存、Windows 系统内存和独立显存的架构不同,模型量化、上下文长度和推理框架也会影响实际需求。
但至少说明了一点:本地 AI 并不是只有128GB、256GB甚至512GB的大内存设备才有使用价值。
至顶AI实验室洞见
看完这条视频,我觉得首先Alex选择了一个很好的切入角度,从普通用户的工作出发,回答一台电脑究竟能做什么。
他没有刻意神化本地 AI,指出复杂应用开发、长链路任务和深度研究仍然更适合使用云端模型。这一点我也比较认同。
不过,能够完成一次任务,不等于已经具备稳定的生产力。
视频如果能充分验证长期使用时的上下文长度、成功率、错误率和人工干预成本,就更好了。







