今年6月，OpenAI与博通发布了首款自研推理芯片Jalapeño。与强调通用能力的加速器不同，这款芯片从一开始就围绕大语言模型推理设计，主要是优化吞吐、时延、能效与部署成本。OpenAI自研推理芯片，是因为推理是人工智能真正抵达用户的环节，推理效率每提高一步，都可能转化为更快的响应、更低的使用成本，以及更大规模的服务能力。
这不是一家模型公司的孤立选择。
从Google TPU、Amazon Trainium，到Meta MTIA、Microsoft Maia，越来越多模型厂商和云服务商开始向芯片与底层系统延伸。当AI从训练模型走向每天数以万亿计的调用，继续增加算力只是第一步，如何以更低成本生产更多Token，才是决定商业化规模的关键。
Token爆发的时代
Token，中文定名为“词元”，是大模型处理信息的基本单位。一次提问、一段回答、一张图像的识别，最终都会被拆解为词元参与运算。
如果说模型参数描述了AI能力的上限，那么Token调用量更接近AI应用的真实活跃度。它不仅记录用户使用了多少AI，也直接对应背后的计算、存储、网络和电力消耗。
国家数据局披露，2024年初，我国日均词元调用量约为1,000亿；2025年6月底升至30万亿，2025年底达到100万亿，2026年3月进一步突破140万亿。最新全国公开数据已更新至2026年6月，日均调用量突破500万亿：约两年半增长超过5,000倍，三个月内又达到3月水平的3.5倍以上。
根据OpenRouter数据测算，2026年9月14日至20日，中国AI模型的周调用量达到67.46万亿Token，环比增长10.28%，并连续21周超过美国模型。需要注意的是，OpenRouter只覆盖其平台上的部分公开API流量，与国家数据局统计的全国调用量并非同一口径；但这组9月数据仍从侧面反映出，模型调用正在向高频、低成本和规模化推理进一步迁移。
训练一个模型是阶段性任务，模型上线后的推理却会持续发生。用户越多、智能体执行的步骤越长、视频与图像等多模态内容越丰富，推理调用就越频繁。尤其在Agent场景中，一个看似简单的任务可能被拆解成规划、检索、工具调用、校验和总结等多个环节，每个环节都会继续消耗Token。
算力需求因此正在发生结构性变化。IDC预计，中国AI服务器工作负载中，推理占比将从2024年的65%提高到2028年的73%。AI基础设施的评价标准，也开始从“能不能训练更大的模型”，扩展到“能不能长期、稳定、低成本地服务更多用户”。
推理时代，算力竞争开始转向经济性
训练与推理需要的并不是完全相同的计算系统。
训练强调通用性、峰值性能和大规模并行能力，需要不断适应模型结构与算法变化；推理面对的则是高频、持续且高度成本敏感的生产环境。除了算力，还要同时考虑并发吞吐、响应时延、能耗、模型迁移难度、集群稳定性，以及最终的单Token成本。
通用加速器依然是AI基础设施的重要底座，但当工作负载逐渐稳定、调用规模足够大时，围绕特定任务优化的专用架构会显现出价值：减少与目标任务无关的硬件开销，优化数据搬运和存储访问，并通过软硬件协同提高有效算力利用率。
这也是定制芯片市场快速扩容的原因。根据650 Group、Dell'Oro与Marvell的估算，以定制XPU及配套器件为代表的定制加速计算市场，将从2023年的66亿美元增长至2028年的554亿美元，复合增速约53%。
专用芯片真正的门槛，在于能否围绕真实负载，把算法、芯片架构、软件工具链、内存与互连、集群调度和应用迁移放在同一个系统里优化。只有这样，理论算力才能转化为用户能够购买和使用的推理服务。
稀疏计算，重新审视每一次乘加是否必要
传统稠密计算有一个直观特点：无论某个参数对当前任务的贡献大小，系统通常都按照完整矩阵执行计算。
但在实际神经网络中，并非所有参数和激活值都同等重要。大量元素可能为零、接近零，或在特定输入下不需要参与计算。如果能够在保持业务精度的前提下识别这些低价值计算，并让硬件真正跳过它们，同样的芯片面积和功耗就可以承载更多有效计算。
这就是稀疏计算的基本逻辑：不是单纯增加计算单元，而是减少不必要的计算。
这里说过关于稀疏计算的小故事，也是大名鼎鼎的Jensen math。
2020年，英伟达在A100中引入2:4结构化稀疏，使TF32张量算力从稠密口径的156 TFLOPS提升至稀疏口径的312 TFLOPS；后来H100等产品继续突出稀疏峰值，行业由此用“Jensen math”调侃这种算力算法。这也说明稀疏算力不会自动兑现，只有模型、软件和硬件都能识别并执行稀疏结构，理论上省下的计算才能转化为实际吞吐。
它听起来简单，工程实现却并不容易。模型稀疏化后，计算任务会变得不规则；如果硬件仍按照稠密方式执行，节省下来的理论计算量未必能转化为实际性能。与此同时，稀疏率、模型精度、吞吐、时延和迁移成本之间也需要持续平衡。
因此，稀疏计算真正的壁垒不只是“少算”，而是三个问题：哪些计算可以跳过，芯片如何高效执行稀疏任务，以及现有模型如何低门槛地迁移到新的计算平台。
这要求从算法到软件、再到硬件进行协同设计，也解释了为什么稀疏计算需要长期积累，而不是通过一次芯片流片就能完成。
墨芯从技术验证走向规模验证
墨芯人工智能成立于2018年，自成立之初即聚焦稀疏计算，并基于稀疏架构研发专用推理芯片。经过多年积累，公司已形成覆盖算法、软件和硬件的全栈能力，并拥有百余项自研专利。旗下S30、S40等计算卡曾在MLPerf Inference测试中连续三届获得领先成绩，验证了稀疏计算在推理场景中的工程可行性。
近日，墨芯宣布完成近10亿元人民币C+轮融资。本轮融资由仁爱资本、海棠基金、东恒石油等产业方，以及比丘资本、派拉资本、中财资本等国资及财投机构共同参与。
距离上一轮近10亿元融资落地仅过去5个月，墨芯再次获得资本支持，两轮累计融资近20亿元。募集资金将用于稀疏专用推理芯片的全栈升级、下一代芯片预研，以及稀疏计算产学研联盟建设。
融资当然不是技术成立的充分条件，但产业方和长期资本在短时间内连续投入，至少说明市场关注的重点已经从单一芯片参数，转向技术路线能否形成产品、产品能否完成交付，以及交付能否转化为可持续的商业价值。
对一家专用推理芯片独角兽而言，真正重要的也不是融资数字本身，而是资金能否继续缩短技术与产业之间的距离。
衡量稀疏计算价值，要回到真实生产环境
芯片行业从来不缺漂亮的参数，专用推理芯片的价值，最终仍要通过生产环境中的单位成本、稳定性和部署效率来证明。
目前，墨芯稀疏专用推理芯片已经在西北、西南、华东、华北四大片区进行铺开；并与头部运营商展开合作，将稀疏计算推理方案纳入算力服务体系。
这些部署的重要性在于，它们开始回答稀疏计算能否跨越实验室、进入真实业务的问题。
在新型算力基础设施领域，墨芯参与了上海国资平台公司建设的国内首个海上算力Token工厂。海上风电与海水冷却可以降低电力和制冷成本，但如果底层计算架构本身效率不足，通用算力的推理成本仍可能抵消部分绿电红利。墨芯希望通过稀疏架构与混合异构算力，从芯片侧进一步降低单Token成本，让能源降本与架构降本形成叠加。
在前沿应用方面，墨芯在地理空间基础模型推理场景中也给出了落地案例：与北京大学上海临港国际科技创新中心地球与空间技术研究院合作，利用自研稀疏化技术，完成了两款国际主流遥感影像数据智能分析基础模型在墨芯算力卡上的适配与实测。在几乎不损失业务精度、无需对下游任务重新训练的条件下，推理吞吐最高提升2.88倍，模型压缩最高达7.64倍。这组结果的价值，不只是模型变小、推理变快。面对大规模遥感影像，减少不必要的计算，意味着可以用更少的算力、更短的时间完成影像解译；不用重新训练下游任务，则降低了已有模型迁移的成本，为时空大数据智能计算等应用提供了高性价比的算力底座。
这说明稀疏计算已经开始处理真实世界中高并发、数据量大、成本敏感的推理负载。
专用推理芯片的竞争，最终是更好用
进入规模化部署阶段后，性能只是起点。
客户真正关心的是：已有模型能否顺利迁移，软件栈是否稳定，集群能否持续运行，运维是否方便，以及综合成本能否得到控制。专用架构如果只能在测试环境中取得优势，却需要客户重写模型和业务系统，其商业价值就会受到限制。
按照墨芯的规划，新一代板卡产品SP200将在年底前推出；升级版软件栈SECA（Sparse-native Efficient Computing Architecture）也将强化大模型推理部署和集群运维能力，降低模型迁移及部署门槛。
今年8月，墨芯还发起成立国内首个稀疏计算产学研联盟，围绕前沿研究、关键技术突破和成果转化，与多所高校启动联合课题。产业联盟的价值，在于让稀疏计算不再只是一家公司的产品路线，而是逐步形成算法研究、芯片设计、软件生态和应用落地之间的协同机制。
