在与手机、汽车等终端厂商的交流中，面壁智能联席首席科学家姚远发现：一些厂商已经把未来想实现的AI功能划分为L1、L2、L3等不同等级，他们对产品有了相对完整的构想，关心的是端侧模型什么时候能够达到相应的能力要求。
“能不能更快？能不能是更大的模型？功耗能不能更小一点？”姚远提到，这是近期厂商与面壁智能讨论最多的几个问题。
模型的能力每提高一个台阶，都可能让一些原本难以实现的功能进入开发阶段。
11月5日，面壁智能展示了MiniCPM-V 4.7的最新技术进展，一个总参数350亿的多模态大模型，在手机上能够以约3GB运行内存完成推理，在iPhone 18 Pro Max上，模型以约3GB运行内存实现了20.51 token/s的解码速度。经过进一步优化，团队又将这一数字提高至30 token/s以上。
35B MoE模型在手机上的运行，也让面壁智能对端侧智能的发展速度有了更积极的判断。姚远预计，按照当前的技术演进速度，两年内，GPT-6级别的模型能力有望在手机上实现。
手机厂商到底需要怎样的端侧AI？
云端大模型的推理成本持续下降，但终端厂商仍有一些明确的本地计算需求。
姚远举了一个汽车行业的例子：汽车开进隧道，网络可能中断，部分智能功能却不能跟着失效；车内摄像头涉及的隐私问题同样敏感，有些用户知道摄像头数据需要上传云端后，会直接拿衣服把它盖住。
手机中的个人信息更加集中，通话录音、照片、日程安排和各类私人文件，都可能成为AI助手理解用户的上下文。面壁智能团队在与手机厂商沟通时发现，通话语音转录是一些厂商最基础的需求之一，对于涉及家人对话、商业机密的信息，本地处理有着明确的价值。
姚远认为，端侧模型能力提高后，可以逐步承担更多高频、实时和隐私敏感的任务，遇到特别复杂的逻辑问题，设备仍然能够调用云端模型。未来端云协同的分工，很大程度上取决于终端模型能够处理多复杂的任务。
在面壁智能此次展示的案例中，一部开启飞行模式的iPhone能够识别家庭用电数据表格，估算不同电器的月耗电量，并根据账单和给定条件比较节电方案。而面对估算结果与实际账单之间的差额，模型也能指出现有信息不足以确定差额来源。
面壁智能对于汽车座舱的想象则更进一步，车辆需要处理舱内外的音视频和传感器信号，还可能同时面对几名乘客——模型要判断谁在和谁说话、什么时候有人在向它提出要求，以及如何根据乘客习惯调整车内设置。
端侧智能的多次降临。横轴是时间，纵轴是参数量。颜色代表模型表现，红色表示性能较强，蓝色表示较弱
这些功能对模型的要求远高于一次简单问答，也解释了为什么终端厂商如此关注端侧智能的能力上限。
但即使模型已经能够完成某项任务，真正装进手机后，仍要面对运行效率和功耗的限制。
面壁智能多模态大模型实验室算法研究员蔡天驰介绍，目前相关版本运行时的功耗，大致相当于一款大型手机游戏，这样的功耗水平，对于需要长期在线的个人智能体来说显然还有优化空间。团队希望通过算子优化和软硬协同，在现有这一代芯片上将功耗降低至接近长时间听歌的水平。如果能够实现，模型便有机会在手机上持续运行，更频繁地处理用户的日常信息。
目前，面壁智能已有模型进入头部手机厂商的量产设备，最新的MiniCPM-V 4.7也正与多家厂商接触并接受测试。
大模型越做越大
端侧竞争也在变化
面壁智能此次展示的35B模型，也反映出端侧模型研发思路的一个变化。
外界常常将端侧模型与小参数联系在一起，但在姚远看来，模型效率提高后，同样的手机硬件能够承载更强的智能，与此同时，芯片性能也在增长，模型规模自然有机会继续扩大。
MiniCPM-V 4.7的35B-A3B版本便采用了这一思路，模型的专家权重共32.2B，包含10240个专家，占全部参数的93.6%，而每个token只需用到其中320个（3.1%）。大量暂时用不到的专家权重被存放在手机闪存中，计算时再按需加载，从而把内存占用压到原来的1/15。
随之而来的问题是读取速度，手机闪存容量充足，但带宽远低于运行内存，频繁加载参数会拖慢模型生成内容的速度，按照此前的按需读取方案，模型每秒只能生成约2至3个token。
面壁智能研发的前瞻专家调度技术（LES）允许系统提前预测下一层可能调用的专家，在当前计算尚未结束时，就开始加载所需权重。配合存储布局、分层量化和解码方式的优化，模型在iPhone 18 Pro Max上的速度由3.38 token/s提升至20.51 token/s。团队近期展示的LES 2.0版本已经超过30 token/s，内存占用仍约为3GB。
MiniCPM-V 4.7 35B-A3B以天为计算单位的端侧解码速度快速演进
关于速度标准，蔡天驰介绍，2024年面壁智能就提出了这一判断：如果能达到8 token/s的输出，人的感觉是不卡的，小于8 token/s则会有点卡；如果能达到15 token/s，人会觉得输出是流畅的。“所以我们把15 token/s定义为对话任务足够流畅的标准，速度再往上，体验当然会很好，但会出现一个问题：用户可能来不及阅读。”
这也是面壁智能同时提供不同尺寸模型的原因，MiniCPM-V 4.7包含35B-A3B和1B两个版本。35B-A3B希望提高端侧模型的能力上限，1B则面向更多价格区间的设备，测试结果显示，MiniCPM-V 4.6的1B模型已经能够在部分千元级甚至更低价位的手机上流畅运行。
模型的运行效率还体现在视觉信息处理上。姚远坦言，现场样机处理部分图像时，仍然需要等待约两秒，对于需要识别大量文字的高清图片，视觉编码本身就会占用不少计算资源。而LLaVA-UHD v4将压缩过程前移至视觉编码器内部，减少了55.8%的视觉编码计算量，同时维持或改善了相应评测中的表现。
姚远表示，行业在评价模型时往往更关注最终效果，却容易忽略为获得这一效果付出了多少计算成本，端侧硬件资源有限，效率上的差异会直接反映在用户等待的时间里。
随着越来越多厂商进入端侧AI市场，模型公司如何建立竞争优势，也成为面壁智能需要回答的问题。
姚远提到，面壁智能的积累涉及模型、硬件适配和推理基础设施，开源生态同样重要。不同手机厂商的芯片、系统和设备差异较大，一家厂商很难独立完成所有平台的适配。面壁智能希望借助开源社区和合作伙伴，扩大模型在不同硬件上的覆盖范围。根据公司披露的数据，其相关开源项目截至2026年11月，在GitHub上的星标数超过17万，模型累计下载超过7000万次。
姚远透露，面壁智能已有一些客户在使用开源模型后，进一步主动联系团队寻求商业合作，开发者也在利用面壁智能的模型探索智能眼镜、应用软件等产品。对于一家以模型研发为核心的公司来说，开源让更多开发者参与应用探索，也提供了接触潜在客户的渠道。
无论是手机、汽车还是机器人，姚远都认为，模型的通用能力仍有较大的提升空间，他提到，团队此前也曾低估端侧模型的发展速度，早期Agent能力较强的模型通常拥有很大的参数规模，但如今，一些数十亿参数的模型已经能够初步完成Agent任务。
这也让面壁智能对端侧智能的未来更加乐观，姚远用“撞线”形容技术能力与用户需求不断接近的过程。当模型能够满足某类任务的要求，原本依赖云端的计算便有机会在本地完成。
编辑|蒙锦涛
每日经济新闻
