作者｜琪琪
编辑｜星奈
媒体｜AI大模型工场
一个被托管出去的长程任务，一夜之间能烧掉多少Token？
放在两年前这不是个问题。那时候大模型还停留在"你问它答"的形态，用量和对话轮次成正比，账单是可预期的。
但今年不一样了。当Agent开始接管我们的工作、生活后，Token消耗就不再和提问次数挂钩，而是和任务的执行链长度挂钩。用得越狠，账单越吓人。
云端推理的定价逻辑是多用多付。但Agent却是越用才越有用。这个矛盾不解决，Agent就永远是少数人的玩具。
于是，针对这个问题，后摩智能举办了一场生态大会，主题是“从芯出发·向端而生”。作为一家做存算一体芯片的公司，成立六年，后摩智能手里已经有两代量产芯片。
创始人兼CEO吴强给了一句相当锋利的定位，Agent时代，后摩要做的不是又一颗跑得更快的AI芯片，而是"端侧免费Token工厂"的算力底座。用尽可能低的能耗产出尽可能多的智能，把端侧每生成一个Token的边际成本压到趋近于零。
但真要让Token在端侧免费，还有很多问题需要解决，比如芯片能不能算动？模型能不能塞下？客户买不买账？
AI芯片的敌人不再是"算不动"，而是"搬不动"
过去十年，AI芯片的主线叙事是算力。但当Transformer成为主流结构之后，真正的开销开始从"乘加"转向"搬运"。权重要从存储搬到计算单元，数据通路上的能耗，往往比计算本身高出一个数量级。
产业侧最直观的证据是HBM。在AI之前，它是个几乎没人关注的小众品类，AI到来之后，它成了存储大厂最激烈的战场。这个转变说明芯片瓶颈已经从"计算单元不够快"，变成了"数据不够快"。
因此，后摩用了六年的时间押注“存算一体”，就是把计算直接搬进存储。
后摩采用的根技术是SRAM-CIM，也就是把乘加运算直接放进SRAM阵列内部完成，让权重尽量不挪窝。
北京集成电路学会秘书长陈小男指出，同等算力规模下，核心计算阵列的面积压缩到传统结构约三分之一，运行功耗降到约十分之一。
围绕这个根技术，后摩跑两条路径。一条是2D CIM，SRAM-CIM与2D封装结合，面向更大容量的场景；另一条是3DCIM，SRAM-CIM与先进封装结合，面向更高带宽的场景。
这里有个技术细节。业界主流的3D堆叠，是把DRAM die 与logic die用混合键合连起来，本质上是在封装维度解决访存问题。
后摩的3D CIM多做了一步，把底下那颗logic die换成SRAM-based CIM。等于在封装创新之上，又叠了一层计算架构创新。
如今，两条路径的产品线已经落地。
M30和M50两代芯片已经量产，其中M50在INT8精度下提供160 TOPS物理算力、典型功耗仅10W；A20作为第一颗基于3D CIM架构的芯片，也已经投产，支持16芯全互联，算力利用率比上一代提升约50%，目标覆盖从3B/4B到27B/30B量级的模型。
正在研发中的M6X系列是M50的演进版本，研发资源目前大头压在这里，综合能力可以达到M50的3到6倍，目的是让合作伙伴在M50上的投入能延续下去而不是一次性买卖；再往后还有规划中的A30，一款高算力低功耗的产品，面向的是海量消费终端。
后摩还给"便宜"下了可量化的定义：Token/$和Token/W——单位成本能产出多少Token，单位功耗能产出多少Token。比起纸面算力TOPS，这两个指标才真正对应到用户的账单。
模型那一头也在塌缩：端侧百B不是芯片一家的功劳
芯片把Token的能耗打下来了，但端侧还有第二个问题：模型塞不塞得进去。一台AI模块功耗只有10W量级的终端，是装不下动辄千亿参数的云端模型的。
于是，端侧能不能跑大模型，另一半功劳在模型。
阿里云智能集团千问与绿联从AI基础设施、模型算法和行业应用三个视角，把这条链路的模型端和终端讲透了。
模型侧的压缩速度快得惊人。以千问为例：Dense类模型，过去17个月，同等智能水平对应的尺寸压到原来的八分之一；更火的MoE类更快，6个月压到六分之一。
千问3.8家族，已经把"端侧"写进了架构。125B的flash next是下一代架构的参考实现，团队说它作为Agentic应用的基座已经够用，能覆盖80%到85%的场景；27B这个尺寸，社区反馈里已经能扛下一半以上的coding工作。
还有专门为Agent做的优化：3.8 Omni把门控注意力换成了QSA，长上下文场景下prefill不再随上下文长度指数级膨胀；上下文做到1M；还第一次引入"声音空间"编解码通道，能分辨声音的方向与远近。
为什么要专门优化这些？模型一轮叠一轮地把上下文堆高，prefill就会失控地增长，而端侧的算力预算是钉死的。算法每压缩一分，硬件端的功耗和时间压力就会小一分。
中间还有一层，推理引擎。万格智元创始人王冠博打了个比方：大模型推理像高峰时段的十字路口，红绿灯照章放行会堵车，站一个交警手动疏导，车没变少但流量上去了。他们做的就是那个"交警"。
在SSD、DRAM、VRAM多级存储和各类计算单元之间调度，原本要24G内存才跑得动的35B模型，压进4G也能精度无损推理；自研算子库再把端侧推理的相对性能profile从1000提升到约2000。
两头一起压缩，才有了今天这个结果。
端侧AI落地之后，客户在意的是什么
技术问题解决了，还有个问题：客户凭什么买单？
极客公园创始人张鹏提出了一个问题：端侧AI真落地的时候，客户最在意的是什么？一圈聊下来，答案出奇一致——安全与专属。
在党政、关基、央企这类客户里，很多人以为把敏感内容换个代号，ABCD之类的，再传上云端就安全了。但AI足够聪明，它会把今天传的文件和明天传的文件拼在一起，还原出一份完整的涉密文件。
所谓"安全"，准确说是私域化专属：企业核心业务必须留在自己的边界之内，AI要嵌进生产流程，核心资料就更不能出门。这也是为什么对专业服务领域，端侧算力不是"更好"，而是"唯一"。
安全很重要，这一点谁都不能否认。但除了安全，舒适的体验也客户愿意买单的关键。
聊趣智能创始人兼CEO黄隽实在上海一家养老机构落地了"数字家人"，能陪老人聊天、提醒用药、辅助防诈骗。不是随便一台冷冰冰的机器，都能成为数字家人。
它需要做到24小时在线陪聊，还不能嗡嗡作响吵得人睡不着，要关心老人的身体状态，也要记住老人所有的喜好。在这些老人眼里，从不缺席的陪伴才是愿意让一台机器走进自己生活的真正理由。
当然，任何事都离不开成本。
端侧推理的成本，过去贵在"搬不动"。现在后摩把端侧Token的账单，打到趋近于零。成本降下来了，企业才能毫无顾忌的试错。这也是做推理引擎的万格智元，押注后摩这套低功耗底座的原因所在。
于是，顺着这条逻辑看展台，每个产品都找到了自己的位置。
中电长城N90 Pro，1公斤重、14.9毫米厚、160TOPS本地算力，本地流畅跑35B，待机时AI模块功耗只有0.35W。会议纪要这类内容，全程不用上云。
商汤AI Box服务1到20人的小组织，给自己的底线是业务精度稳定在95%以上。上海浦东一个街道社区服务中心拿它处理家庭隐私数据，原来3到5小时的活儿，现在3到5分钟就出结果。
绿联HomeAgent HA100 Pro，把NAS升级成家庭AIoT中心。内置的本地Agent能直接理解相册语义。你说一句"把所有猫找出来，放进一个叫花花的相册"，它就执行完。识别、分析、存储全部在本地完成。
海外创业公司Deepshard则秉持着数据不出桌面是产品第一准则。
在这些场景里，数据不出本机不是加分项，而是入场券。省Token从来不是最优先的诉求，客户要的是安静、响应快、还能持续用。
因此，端侧要想真正落地，不只是塞一颗芯片就行，散热、主板、整机形态，都得重新做一遍。
端侧不会有另一个英伟达
最后一个问题，端侧的产业链，会复刻云端"英伟达—大厂—应用"的结构吗？
后摩陈仲铭的回答是否。训练时代可以拿华为对标英伟达，因为训练有极强的规模效应，越集中越划算，算力自然向少数大卡堆集中。
但推理，尤其是端侧推理，场景极度碎片化。有人要算力大，有人要带宽高，有人要能塞进NAS，有人要能挂进机器人，还有人要求7×24小时静音运行。这中间藏着一个不可能三角：算力、带宽、功耗。没有哪个单一架构能同时把这三条都做到极致。
所以端侧更可能的形态，是"高通 + ARM + 安卓"的分工组合，而不是一家通吃。
后摩对自身的定位也看得很清楚。
不做整机、不做上层应用，只留芯片、板级硬件、编译器与工具链外加参考设计，把利润最厚的几层让出去，再把后摩AI生态软件对外开源。
兼容面也在同步往外铺，M50与端边侧几乎所有主流CPU架构打通并进入量产，操作系统铺满Windows、Ubuntu、开源鸿蒙、安卓以及麒麟、统信、欧拉。
围绕Agent Computer「共创未来」计划与白皮书，CPU、OS、模型、整机、应用，几乎每个环节都有厂商入局。
在芯片行业，把后摩AI生态软件开源是个罕见动作。硬件厂商通常靠工具链锁定客户，后摩选择反过来，先把生态做大。这一点，让中国的端侧机会比美国大得多。
复旦大学副教授蒋昌建提了一个混合架构，补上了端侧AI的最后一块拼图：端侧负责实时控制、隐私敏感的任务和基本安全，云端负责复杂推理、大规模训练和必要的协同。
把它翻译成产业语言就是，云端负责让AI知道一切，端侧负责让AI替你做事。前者属于集中式的、由少数人掌握的超大集群；后者则需要贴身、需要低延迟、需要你的数据不出门、需要在关键时刻由人按下那个停止键。
过去两年，行业几乎把所有注意力都放在了云端。现在，端侧终于有了一条能走的路。
后摩M50从送测到今年8月底，拿下了150多个产品定点。不过定点有了，离规模化卖出去还差得很远。端侧AI真正的临界点，是从"能跑模型"变成"被用户需要"。
至于Token会不会真的免费，没人能打包票。但是这场大会，切切实实的把端侧AI往前推了一把。
数据支持天眼查，大模型独家合作账号
