过去三年，国内几乎每一次现象级的开源大模型出海，背后都有王铁震的身影。
2022 年底，曾参与把 TensorFlow 塞进手机和单片机的他离开 Google，加入 Hugging Face 负责亚太生态。在那个“开源就是把模型权重扔进网盘”的草莽年代，他帮国内团队做 Day 0 上架、定开源策略、在海外造势，亲历了零一万物的架构风波、千问靠 30 万衍生模型写进阿里财报、DeepSeek R1 与 Kimi K2 踩中时间窗口引爆全球。后来，他又和前特斯拉工程师一拍即合，把开源 3D 打印机械臂打到了淘宝一两千块的白菜价。
但不久前，这位开源社区最活跃的推手却在朋友圈抛出了一个问题：“现在是不是开源模型的至暗时刻？”
在他看来，那种发一个开源模型就引发全球围观的盛况，今年很难再重现了——新模型供给过剩稀释了注意力，大模型安全风险让开源变得投鼠忌器，而更新极快的闭源巨头正带着成本优势，直接杀进开源模型的“甜点区”。与此同时，大模型本身也变得越来越重，从早年一张 1080 游戏卡就能跑，膨胀到如今得租八卡 B300，普通开发者已经玩不起了。
带着这个判断，王铁震在今年 5 月离开 Hugging Face，加入了由 vLLM 核心团队创立的 Inferact，转向更底层的推理生态，用他的话说，去帮大家 “Generating tokens from data centers”（在数据中心里生产 token）。
10 月末，我们在杭州和王铁震做了一次深度交流。在这场对话中，刚刚换了赛道的王铁震复盘了中国开源大模型过去三年的台前幕后，也给出了他对“至暗时刻”的真实解法：别再单纯卷参数和榜单了，现有的开源模型就算一辈子不再迭代也已经够用，接下来最重要的事只有一件——“赶紧想明白怎么赚钱”。
以下是我们的对话：
DeepTech：我看到你的 LinkedIn 上写的是 “Generating tokens from data centers”。离开 Hugging Face 后你现在主要在做什么？
王铁震：我们现在主要在 vLLM 这边。vLLM 这个社区最早就是做大语言模型推理的一个项目，今年初成立了一家公司 Inferact。它的主要业务实际上就是让 token 更易得，让大家用开源模型的门槛更低。
DeepTech：从 Google 到 Hugging Face，再到现在做推理，你有没有一条比较明确的主线？
王铁震：（笑）我的主线……之前在 Google 我们做 inference，当时做的是 TensorFlow。那时候很多人对各种 infra、对开源都持怀疑态度。大家在小显卡上训一些小模型，有各种尝试，但你要写很优化的 kernel、做 CUDA 优化，甚至多机部署，早期那些框架其实都做不好。TensorFlow 应该是第一个把 Google 内部工业级的代码拿出来开源，再跟大家一起把生态越做越好的项目。
那时候开源开得很疯狂。现在很多公司的开源，是内部开发一个星期，把代码攒一攒，再发到开源社区，这叫开源。当时不是这样。公司同事写了什么代码，有个机器人过一遍，把公司内部的客户名之类的东西拿掉，就直接放到 GitHub 上。公司里外用的本质上是一套代码，只有一些依赖稍有变化。这种非常开放的心态，当时赢得了很多开发者。
我们做开源也做得很开心。服务这些开发者，跟服务公司内部业务挺不一样，大家有各种各样神奇的创意，社区也非常非常活跃。就觉得做开源这事蛮有意思的。
DeepTech：后来为什么去了 Hugging Face？
王铁震：后来因为各种原因，我离开了 TensorFlow 团队。但我还是觉得，帮整个中国的开源社区做点事情是很有价值的。我就在找还有哪些公司在做开源，看看能不能过去，继续做我喜欢的事。然后就看到了 Hugging Face。
它在做的事，Google 之前也尝试过，但它比 Google 还要开放。我第一次见到的产品叫 Hugging Face Hub，实际上就是一个模型仓库，AI 版的 GitHub，你可以在上面发布你的模型，也可以下载别人的模型。我们当时在 TensorFlow 组也做过类似的东西，叫 TensorFlow Hub。
但 TF Hub 还是以 Google 为中心，放的都是 Google 的模型。那个年代大家都觉得 Google 是 AI 霸主，Google 的模型都很厉害，但还是有很多社区的模型也想放到 TF Hub 上，这就会遇到各种 policy 的问题、review 的问题、安全的问题，Google 也没有把它做成一个公开的产品。Hugging Face 敏锐地找到了这个突破口，把它做成了产品。我当时一看就眼前一亮：这不就是我们在 Google 想做、内部没推动成的事吗？
我就过去跟他们聊。正好之前都在法国读过书，跟几位创始人一聊，大家志趣相投，想做的事情和愿景都比较一致，我就直接加入了。
DeepTech：加入之后，你在公司主要做的是什么？
王铁震：加入之后也很神奇。它是服务开发者社区的公司，招来的都是志趣相投的人，所以公司里基本上不怎么开会。前一两年，我连公司一个人都没见过（笑）。相当于他们就这么找了一个人，让他在当地搞社区。这是特别神奇的一段旅程。我觉得只有这种志趣相投的、做开源的人才能这么玩，不然的话，老板肯定会想：你天天在做什么？你能不能产生价值？
也是赶上了好时候。我是 2022 年底加入的，加入之后 ChatGPT 马上就发布了，社区一下子就很疯狂，大家都在问开源社区怎么办。我们在那个时候很早就跟大家建立了很深的信任和合作。每次国内有模型发布，我们都帮他们在 Hugging Face 上上架，给他们一些开源策略和宣传上的指导，在 X 上帮他们做推广。就这么看着整个开源社区越来越繁荣。
再后来，大家对开源的认知一下就上了一个档次，所有人都在开源。所以那时候我就在想还有什么可以做。我想做的事情基本上都已经做成了，大家已经有了开源的意识，我觉得就差不多了。如果再找新的、从零到一的事情，可能会是什么？当时就看到开源机器人是一个比较好的方向。
DeepTech：为什么会是开源机器人？
王铁震：我之前在 Google 做 inference，inference 实际上就是让大家把东西很快用起来。
机器人领域有一个巨大的问题：大家想把一个开源模型、一个开源方法、一篇 paper 用起来，中间要跨的鸿沟比纯软件大得多。你没有那个本体就跑不起来，本体可能很贵，运行起来你可能还需要一个 mechanical engineer 的团队，帮你修东西、懂所有这些东西。这远远超过一个普通开发者应有的能力。他可能有一个创意，需要一个现成的东西、一个脚手架，在上面改一改就能实现他的创意。机器人远远没有达到这个状态。
所以当时公司内部有个想法：要不我们搞一个开源版的机器人。正好那个时候 Remi（Cadene）从特斯拉离开，到了 Hugging Face，我们一拍即合，说是不是可以先从机械臂开始，搞 3D 可打印的开源机械臂。我们在国内找了几家供应商，一起把成本降下来，放到淘宝上，让大家很方便地去用。所以你现在去淘宝，一两千、两三千块钱就能买到这种机械臂。后来我们又做了加轮子的 LeKiwi，最近他们又做了 Micro Duck 这些新东西。
图丨 Micro Duck（来源：Hugging Face）
我觉得具身开源应用的这条路径已经走通了，已经被验证成功了。
比如你们培养学生，不需要买一台十万美元的大机器，又重又难搞，坏了还不会修。你 3D 打印一个，再加上 Hugging Face 整套软件栈、LeRobot 那一套东西，就可以把不同的 policy 直接用起来，甚至直接拿它完成一些任务，收集数据、做 visualization、把 policy 跑起来做 pick and place。培养人才、入门、拿它做一些好玩的 demo，我觉得这件事做得还是蛮好的，量也起得很快。机械臂、LeKiwi 这些做得差不多之后，大家就想继续做 locomotion，就是能走、能动的东西。
DeepTech：那如今为什么又去了 Inferact 这边？
王铁震：后来我又在想还有什么可以做。我觉得现在大家对模型推理服务本身有一个巨大的需求。开源模型越来越大，以前玩开源模型的一些人现在已经玩不起来了。
你想，2022 年的 Stable Diffusion，拿一张游戏卡，1080 什么的都可以跑。后来图像生成模型越来越大，大家可能需要专门租 H100 去跑。到现在的大语言模型，你租一台八卡 H100 也跑不起来，得租八卡 B300。这远远超过一个普通开源开发者应有的财力。
价格也越来越高。去年 spot instance 还比较好租，但现在很贵，而且很难租，因为大家发现这卡直接能给自己产生收益，那干嘛要租出去？我就想，大家用开源模型，最终还是要做推理，那我是不是可以专门帮大家生产更多的 token？当时就跟（游）凯超聊，我觉得这个愿景也比较一致，我就到 Inferact 这边，给大家做一些生态相关的工作。
一块是支持新模型 day 0 上架。比如有一个新模型过来，可能会提前一段时间给到 inference provider，给到开源社区的这些人，让他们去做开发，等到发布那天，他说可以发了，大家一起发。另一块是跟社区保持比较好的接触，看看有什么新的机会，还有什么别的东西可以帮到大家。
如果回到你说的主线，我还是一个非常支持开发者的人，因为我自己也是一个开发者。就想做点什么，帮开发者发挥他们的创意，去做更多的事情，让开源社区更繁荣。
一开始的开源，就是把权重扔到网盘
DeepTech：听下来，你这条线似乎可以也概括为是让模型、让智能变得更容易被人使用。我比较好奇的是，帮一个团队上架一个模型时一般要经历什么样的过程？
王铁震：现在开源模型的上架跟几年前已经挺不一样了。几年前大家都不知道什么叫上架一个模型。开源是什么？开源就是把权重扔到网盘，发个 paper，里面放个网盘链接，这就叫开源了。后来大家学会了，得放到 Hugging Face 上，这样有一个统一的接口可以用。但那时候还是有很多模型，虽然在 Hugging Face 上，用起来还是很难，比如需要一些很特殊的环境（dependency），需要一个特殊的 Python 版本。反正那个时代的开发者体验是很糟糕的。
后来大家就想怎么更好地打磨开发者体验。其中一个办法，是让你的模型在大家已经熟悉、已经在用、也喜欢的开源框架、开源库、开源工具里得到对应的支持。你模型一上架，大家已经在用的工具，比如 llama.cpp，就已经能跑这个模型了。
这是开源最重要的一项工作。我们当然希望能提前几个月，但实际上达不到，可能就提前几个星期，甚至几天，告诉大家：我有一个模型要开源了。把测试的代码、测试的权重给到大家，让大家分头去做支持，甚至帮着做一些性能调优，让这个模型能跑起来。我们现在还会做 RL 的支持，你这个模型一发布，就可以直接在上面做强化学习。我们甚至会预先跟你一起想，什么样的场景可能最适合这个模型，跟你一起做合作，做一些 case。这大概就是整个上架流程，现在已经变得很复杂，也很组织化。
当然现在模型很多，我们有时候也很难有足够的时间给每一个模型都做非常完整的服务。要做到，也是经常熬夜。我记得两周前我在美国，当时 Meta 的模型（Muse Spark）和 Reflection 的模型在同一周上架，那一周基本都在连轴转。
DeepTech：那在这个过程中，有没有哪个模型的上架，让你印象特别深刻？
王铁震：对我个人而言，印象最深的有这么几次。第一次是零一万物（Yi）的发布。它刚发布时，开源协议（license）给得还不错，但更关键的是，它当时卷入了一场很大的舆论风波。因为它底层用了 Llama 的架构，但最初没有在模型卡（Model Card）上写清楚。当然，零一团队的反应非常快，收到社区开发者的反馈后立刻就修正了。
但在国内，这件事经过二次传播后发酵得很大，很多人都在质疑：“你是不是套壳 Llama？”不过在我看来，出现这种争议未必是坏事。行业有时候恰恰需要这样的标志性事件，来给大众做一次关于开源规则的科普和教育。比如正是通过那次争论，很多人第一次搞明白到底什么是模型的开源协议（license）、沿用成熟架构算不算“套壳”，以及什么是学术界和工业界共有的知识资产。就像我们平时发论文一样，所有的前沿工作都是建立在前人基础上的，Llama 本身也不是凭空造出来的架构，大家都是在既有的技术脉络上一步步迭代。
况且，Llama 当时自身的授权协议也有局限。而 Hugging Face 当时实现 Llama 架构的代码，是在完全没有看 Meta 原始代码的情况下，独立重写的一套实现，所以 Hugging Face 是用完全独立的 Apache 2.0 协议发布的。零一万物当时直接用了 Hugging Face 的这套 Apache 协议代码，所以在法律和开源许可证层面上，它其实是完全合规、没有任何问题的。
虽然当时网上论战很激烈，但我觉得这场社会化的大讨论，实际上是第一次让“开源模型”这件事本身真正破圈了。
以前大家讨论 Apache 和 MIT 协议有什么区别，会觉得这是个很基础甚至枯燥的问题，但其实很多开发者自己也未必拎得清。那次风波，应该是开源模型第一次在大众层面引起这么广泛的关注。而且客观来说，那件事对零一万物也有正面的助推作用，风波之前很多人可能还没太听说过这家公司，论战之后大家都知道了，而且发现他们模型的性能确实做得挺好。当时我们在幕后也给他们做了不少助攻，比如协助对接西方科技媒体的采访，跟李开复老师沟通后续的合作发布等等。所以那是让我印象极为深刻的一次模型发布。
第二次就是千问系列的发布。千问一直在发，后来慢慢变成了模型界的一个主流选择。不管是模型下载量，还是模型家族的衍生模型数量，实际上都遥遥领先，比其他竞争对手多很多。我记得看到最新的数据说，衍生模型数量已经是 30 万，这个可能需要再拆解一下。
当时跟千问聊，能明显感受到开发者、研究员对千问的喜爱在快速上升。我记得开源模型刚出来的时候，大家都在说 Llama。当时还有一个开发者群叫 Llamafia（Llama 黑手党），里面有非常多关于开源模型、关于 Llama 的高质量讨论，特别热。到了 Llama 2 之后，大家的需求变得越来越多元，而与此同时千问异军突起、更新节奏极快，社区的重心开始明显向千问倾斜。当时群里很多人甚至在开玩笑说，咱们这群干脆改名叫 “Qwenfia” 算了。
DeepTech：研究员们为什么突然会这么喜欢千问？
王铁震：千问一直很努力，持续都有更新，而且每次更新都量大管饱。它不是靠某一个版本出奇招取胜，靠的是实力。我去问过很多研究员（researcher）为什么这么喜欢用千问？他们告诉我，千问作为基座模型的可塑性极强，拿它过来做微调训练（Fine-tuning），模型在特定任务上的性能就会有巨大的提升，所以大家都特别喜欢拿千问当基座模型（base model）。也有另一种可能的原因是，拿千问做训练的人太多了，网上有很多教大家怎么用千问训练出好效果的 recipe。这就形成了一个网络效应和品牌效应：用的人越多，大家越知道怎么用；知道怎么用，就用得越好，一下子就可以工作了。换个模型，我还要自己摸索半天，对吧？
千问俘获了研究员的芳心之后，面临的最大问题是怎么向公司证明千问确实很受欢迎。大家都知道它受欢迎，但你需要 KPI，要给大家讲清楚你这个模型到底怎么样。当时我就跟魔搭、千问的同学聊，Hugging Face 能帮你们创造一些什么 metrics，证明你们在努力工作（笑）。一开始想得比较简单，要不就拿下载量、点赞量。但这些东西已经赢了之后，你就很难再证明它还能有多好。
DeepTech：已经到了一个上限。
王铁震：对。那就要想，什么指标比较难刷、大家还没有关注、未来又能长期用。当时其实想了很多，其中一个就是衍生模型的数量。你做一个东西，它的二次传播实际上决定了这个东西的生命力。如果有人拿千问模型用完就结束了，就没有二次传播。什么是二次传播呢？研究员拿千问微调了一个模型，这个微调的模型很火，这就是一次二次传播。
如果我可以拿千问作为基础模型，微调出各种各样的模型给不同的开发者用，他们扩张出来的市场和受众，实际上比千问团队自己看到的世界要大得多。那我们就想，来比较一下大家的二次传播，比较一下大家的衍生模型数量。结果千问果然遥遥领先。
所以在传播上，千问做到了保持长期的影响力，它无论在东方还是西方、国内还是海外，研究员们对千问都有着极高的好感度。相比于单点押注超大参数的旗舰模型，千问最强大的地方在于它的全尺寸覆盖，尤其是在端侧能跑的尺寸上、在研究员和开发者最喜欢折腾的中小尺寸上，千问一直做得极其出色，建立起了极高的生态壁垒。
我知道美国有很多公司，每天都在讲：我们可以做后训练，后训练一下就能解决各种各样的问题，帮你省钱。但他们都不会讲自己用的是什么基础模型。你想，世界上有开源模型和闭源模型，你不可能拿闭源模型做后训练，只能拿开源模型做。开源模型放眼望去，研究员们最喜欢的其实就是千问，比如 Qwen-VL，不少多模态模型都拿它做基座。所以千问实际上拥有非常巨大的行业影响力。
至于就是 DeepSeek 的走红，我就不讲了，大家都知道。另一个我觉得比较出彩的是 Kimi。
DeepSeek 之后，大家都觉得开源模型好强。当时 Anthropic 都还没有思维链产品，DeepSeek 就告诉大家，你们这么搞就能弄出思维链，甚至给大家展示怎么把 DeepSeek 的思维链灌到小模型里，欢迎大家来蒸馏，就是这个意思，影响很大。但过了几个月，大家又开始期待新的东西：后面还会有什么模型？而且那时候大家越来越看重 agent 和写代码的能力，这块还有很大的空间。
到 2025 年年中，Kimi 的人找我过去，详细聊了他们的一些战略。我觉得开源可能是他们破局的一个好办法。
DeepTech：我记得在此之前，虽然大众对 Kimi 的认知程度也还不错，但留存率可能相对较低，甚至大家一度不太看好 Kimi 了。
王铁震：对。用户来了之后，觉得你这个长文档能力确实不错，当时 Kimi 主打的就是长文档。但整个产品现在看还是很不完善，那时候的转化率是很低的。如果把模型开源，它在行业里的地位和影响力就完全不一样了。它的模型比较大，比 DeepSeek 那时候还要好不少。开源之后果然引起了所有人的关注，那时候它算是非常前沿的开源模型，在 coding 和 agentic 的场景都做得很不错。那次发布的影响也是蛮大的。
现在回头看，今天你再发一个模型，其实很难获得当年 DeepSeek R1 和 Kimi K2 那样的影响力。包括 Kimi 自己后来发的 K2.6、K2.7，也没有那个影响力。我觉得它戳中了一个很重要的时间窗口：所有人都在期待一个开源模型，它恰好满足了所有人的期待，做到了一个非常好的点。所以说，开源发布的时机选择（Timing）是决定性的。
最近其实也发了很多开源模型，但你要说让我印象很深刻的就很少了。那个时候，Kimi 应该是第一个聪明到在 DeepSeek 之后赶紧转型、跟着主流去做开源的。再往后，其他厂商也在开源，但可能是供给太多，大家的注意力就比较分散。
不过不仅是国内，美国的开源模型也是如此。比如近期海外发布的几个备受期待的重点开源模型，虽然在发布时获得了一些讨论度，但它们的实际下载量其实跟去年的盛况已经完全无法相提并论。所以我才感慨，到了今年，无论你是哪个国家的团队、在背后付出了多少艰苦的工程努力，单纯发一个模型，已经很难再企及当年 DeepSeek R1 的影响力了。
但我们还是看到很多非常有意思的发布，就是大家用开源模型去探索一些崭新的方向。比如最近扩散智能发布了一个 diffusion 路线的语言模型，比较小，性能也还不错，就获得了很多关注。还有 Boss 直聘南北阁的模型，也获得了很多关注。大家觉得这是新的东西，有想象力，有空间，而且这类供给是紧缺的，大家想要去关注。这些模型往往尺寸都不是特别大，普通的 researcher 都能玩得起来。
未来大家再发一个开源模型，如果只是说我比你大、我比你性能更强，一方面性能更强这件事是很主观的，一些榜单实际上都可能失效；另一方面，在开源模型都已经可用的这个时间点，大家感受不出你的区别。所以我觉得这种发布很难获得足够的关注。但如果你在探索一条新的技术路线，不管是 loop transformer、diffusion LLM 还是别的，发的尺寸大家玩得起来，性能也不差，我觉得这种反而可以获得全世界很大的关注。这可能也是我后面比较关注的一个方向。
“至暗时刻”
DeepTech：我看到你最近发的朋友圈说，现在可能是开源模型的“至暗时刻”。这句话怎么理解？
王铁震：就跟刚才说的一样，感觉现在大家发开源模型的投入产出比不是特别高。你花了很多精力把模型开源，开源之后如果不能获得很强的关注度，没有带来 branding 上的帮助，没有在开源世界引起反馈或者水花，那这个开源的动作实际上就是失败的。
我们可以想想，一家商业公司为什么要做开源？有的是为了打响企业品牌，有的是为了吸引顶尖人才，有的是出于技术理想。但归根结底，最核心的诉求是通过开源去换取行业注意力。如果你的模型已经做到了绝对的第一梯队，比如像字节的 Seedance，本身就已经是市面上最强的模型了，那它其实根本没有必要开源。在很多时候，开源其实是排在行业前三名之外的玩家，为了实现“错位竞争”而采取的一种破局策略。
但现在的问题是，连“开源”这个错位竞争的手段，也换不来注意力了。到了这个时刻，大家就必须停下来重新思考：接下来到底该干什么？
任何一个行业，早期大家做的事情都是有高价值的；但你什么时候会发现回报率急剧下降？就是当所有人都在同质化内卷的时候。大语言模型当然是人类智慧的结晶，训练门槛极高，但它依然逃不过供需规律，哪怕是再顶尖的技术结晶，只要市面上的供给过剩，受众的注意力就一定会被摊薄。
在这个阶段，“继续无脑开源”还是不是一个好策略，就得打个大大的问号了。因为你不开源，现在也能找到很多直接商业化的路径；或者你可以选择“半开源”，在开源协议（License）上加上明确的商业化限制。而从学术研究者的角度来看，大家虽然希望不断有新模型出来，但并不需要那么多动辄千亿万亿参数的超大模型，你丢给研究员一个巨无霸模型，他手里的算力根本训不动，拿来也没法做研究。
第二方面是开源模型的安全，今年被越来越多的人聊起来。我们知道闭源模型确实有很多网络攻击的能力，所以它要被限制在一个沙盒里面，有一些安全保护。开源模型的能力现在远远不如闭源模型，但在慢慢起来。我觉得现在开源可能还没有太多风险，相反，开源模型可以作为保护的一层，去防范一些攻击，或者找到一些蛛丝马迹来发现攻击行为。比如 Hugging Face 当时就是用 GLM 发现了 OpenAI 的 agent 越界的攻击行为。
但开源模型再继续发展，会不会到一个临界点，开源模型也变得不安全，攻击能力变强？我自己的假设是，只要在语料里面把攻击相关的能力都拿掉，做好筛选，在 RL 的环境里也不去训练这方面的能力，是可以做出一个没有足够攻击能力、但有一定防御能力的模型的。
但这个假设是否成立呢？如果这个模型指令遵循能力足够强，它自己虽然没有这个能力，但恶意的使用者在 context 里给它灌注这方面的 instruction，它也可以做一些坏事。或者这个模型能力真的足够强，涌现出一些不可控的能力，它有可能会去做。这我也不清楚，需要社会上很多人去做评测、做审查。但随着开源模型能力越来越强，这肯定会越来越成为一个很明确的问题。
闭源模型是可以控制安全问题的传播的，大不了就不玩了，把所有人的 API 都掐断，它是能做到的。但开源模型一旦扩散出去，实际上就再也收不回来了。包括它的 license，比如 Apache，你交给大家之后，这东西就不是你的了。
所以开源模型在什么时间点认为自己有一定的安全风险，我觉得需要非常慎重地考虑，而且不只是企业自己，可能还有更多的生态，甚至监管层面，都需要考虑。以前是说开源一定好，至少现在要开始慎重地去看。包括 Kimi 这次发布，我记得 blog 里也说到，要对模型的安全能力做一些控制。这就会导致大家发布开源模型时更慎重，这是一个很大的变化，也是现在开源沉寂、或者后面可能会沉寂一段时间的原因。
闭源模型打进了开源模型的甜点区
DeepTech：另外还有开源模型与闭源模型在性能上的差距变大了？
王铁震：是的，还有一个原因就是闭源模型太强了。开源这边的逻辑是，反正我不收你模型的钱，只要把卡的成本 cover 掉就没问题。但现在大家突然发现，闭源模型在引入了递归自我改进（RSI，Recursive Self-Improvement）等机制后，不仅能迅速吸收掉开源社区摸索出的所有底层工程优化成果，还能通过自己蒸馏自己，把推理成本压到极低。当闭源 API 既便宜又好用时，开源模型在成本上的吸引力就大打折扣。除非开源模型能有一个比较好的性能提升，不然在这一点上其实被压得挺惨。
而且闭源模型不仅打在开源模型的甜点区，它迭代的速度还非常快。当它拥有更多的卡，又有了 RSI，可以让模型自己迭代、拿算力换人工的时候，开源模型能不能追得上，开源和闭源的差距是在拉大还是缩小，这些都很难说。
至少在现在这个时刻，开源模型里还没有像当年 Kimi K2.5、DeepSeek-R1 发布的时候那样，能跟闭源模型掰手腕的。新发的模型当然很强，但它是一个稍微小一点的模型，不是跟最强的前沿模型掰手腕，讲的是应用性、性价比，是做事的模型，而不是最智能的。我感觉未来发布的这些开源模型可能都不是特别 frontier 的，当然大家还是会去做一些新的东西。
所以综合这几个因素，你就会发现，平均每个开源模型受到的关注度变小了，开源模型的使用场景也在变少，被闭源模型打到前面去之后，用量可能会下降，而且未来持续开源也会有一些更谨慎的考量。那这个时代，我们是不是要想一些不一样的东西？
DeepTech：除了前面说的新架构、一些新的垂直方向，你觉得开源下一步的破局点还会在哪里？
王铁震：我觉得最实在的破局点就是：赶紧去赚钱吧。
现在的开源模型其实已经完全“可用”了。无论是日常办公、写点常规代码，还是日常对话交互，现有的模型能力其实已经绰绰有余。说句实在话，哪怕从此时此刻起，全球的大模型技术彻底停止演进，我这辈子就一直用着 DeepSeek 的 V4.1-Flash 模型，我也觉得挺好的（笑）。因为人类历史上还从来没有经历过科技以如此狂暴的速度向前狂奔。在过去的工业时代，生产力或工具智能提升一个台阶，周期往往是以几十年来计算的；现在哪怕我们稍微踩一脚刹车、慢下来喘口气，等几十年后再出现下一代技术突破，其实对人类社会的正常运转也不会造成任何实质性的负面影响。
当然，永远会有一小撮顶尖实验室在继续冲击智力的最前沿；但我们必须承认，当下已经诞生的这些智能，相当一部分已经完全够用了。这些“够用的智能”哪怕不再继续迭代，只要用好，就已经能够创造巨大的实际价值，也完全有人愿意为之买单。那么，在商业化落地、在产品打磨，以及“把现有智能与真实世界的信息数据连接起来”这件事上，开源模型能不能扮演更核心的角色？我的答案是肯定的。
我的一个观察是，国内对 AI 的普及度、大家对新事物的接受程度还是很高的。在美国，除了湾区，你去跟普通美国人聊，其实很多人对 AI 能做什么并不了解。
DeepTech：比较抗拒？
王铁震：不仅仅是心理上的抗拒，很多人甚至压根就没真正动手用过。在这种背景下，开源模型反而有机会打消一部分人的顾虑，毕竟模型是开源的，部署在本地或私有环境里，数据完全攥在你自己手里，你干了什么不会被大厂拿去喂模型。如果能做到这一点，开源模型就能真正帮到普通人。
图丨美国反 AI 游行（来源：WikiPedia）
比如，我一直觉得有一个非常简单、痛点极强，但因为各种原因至今市面上还没有人真正做好的场景：能不能有一个模型，直接把我通讯软件的所有聊天记录作为它的长期记忆（Context），在此基础上帮我回答日常问题、自动规划我的日程？这种能够无缝嵌入个人生活流的东西，才是真正能帮到每一个人的产品。
我们一方面当然要仰望星空，追求模型本身变得更聪明；但眼下更迫切的是，把那些“已经够用的智能”，跟人们手头已有的上下文、已有的数据资产深度结合起来，直接碰撞出商业价值，让整个社会以更高效的方式运转。现在华尔街和硅谷每天都在争论一个问题：巨头们砸下几千亿美元去搞大模型训练，最终为这一切买单的终端消费者到底在哪？
现在的 AI 繁荣，很大程度上是建立在一层套一层的金融杠杆之上的；如果未来某一天大家突然发现，传导链条的末端根本没有足够多的终端消费者愿意掏钱，那整条金融杠杆链条就可能直接爆掉。怎么找到并留住真正的终端消费者？我觉得关键就在于让模型走出实验室、走进真实的日常生活，去跟具体的私有数据发生化学反应，而不是一味地在刷榜上追求模型本身有多聪明。
所以，当开源模型跨过“够用”的门槛之后，它究竟能不能真正改变我们的生活，让工作更高效、让生活更好玩？它必须拿出实打实的应用场景和商业价值来证明自己。这会是接下来所有人最关注的重心。
DeepTech：这不光是开源模型的问题，某种程度上来说，其实所有大模型发展到今天，都已经变成了高度可用的资源，但我们好像还没有像利用石油那样，真正把它充分开发出来。
王铁震：是的。就拿石油举例子，好像大家现在觉得，我发明了石油，以后不用点油灯了，直接烧石油就好。但你把石油当燃料，和你把石油当成重化工的原料去做各种材料，产生的社会价值是不一样的。同样的原料，精加工、细加工，一定会给大家带来不同的产品。
DeepTech：我们一直在讲模型水平如何，但还没利用起来的，是去做部署，把它嵌进具体的 context 里。
王铁震：对。在现在已经有的能力上嵌入 context，能带来的帮助比单纯提高模型本身的智能要大得多得多。
DeepTech：最近 X 上很多人在讨论，明年本地小模型可能会迎来一个黄金时期。你怎么看？
王铁震：我非常认同小模型的价值，因为我自己早年就是做端侧小模型出身的。早在 2017、2018 年我在 Google TensorFlow 团队时，我们就看到了小模型的巨大潜力。
当时我们提出要把深度学习模型直接部署到智能手机上，很多人都觉得不可思议，认为手机芯片发热、电池耗电都是无解的死穴，怎么可能在手机本地跑深度学习？结果我们不仅在手机上跑通了，后来还更进一步，把深度学习模型直接塞进了微控制器（单片机）里，做了一个项目叫 TensorFlow Lite Micro，就是大家大学上《单片机原理》课时学过的那种内存只有几百 KB 的超小芯片。
当时我们就验证了，端侧小模型其实能干很多事：它能天然保护用户隐私，响应延迟极低，可以做到 24 小时全天候在线（Always-on）随时交互，而且运行成本几乎可以忽略不计。所以我个人一直非常信仰端侧模型。
但为什么直到今天，端侧大模型依然没有真正爆发？我觉得最核心的卡点在于：做模型的人一直没想明白，做端侧模型到底该怎么赚钱？比如我知道国内像面壁智能（MiniCPM）等团队一直在深耕端侧模型，技术做得很好。但端侧模型的尴尬在于，它不像云端大模型那样有一套简单直接的商业模式，云端模型只要做点宣传、把接口挂到网上，直接按 Token 卖 API 就能收钱。而端侧模型辛苦训出来、优化好放出去之后，最终商业价值往往是被底层的硬件芯片厂商给收割走了。
在我看来，这一波端侧大模型浪潮，最大的既得利益者大概率会是苹果。你看苹果的 M 系列芯片，天然具备统一内存架构（Unified Memory），有完整的软硬件封闭生态，算力也在逐代稳步攀升；更重要的是，相比于英伟达的显卡，苹果芯片最大的优势是功耗控制极佳、发热极低。如果你调用苹果的神经网络引擎（ANE）去跑，哪怕执行相当繁重的深度学习推理任务，机身发热也完全在可接受范围内。这意味着什么？意味着未来不管开源社区里的哪家团队把端侧模型做成了，最后躺着数钱、卖硬件受益的都是苹果。
当模型厂商算清楚这笔账之后，难免会陷入纠结：如果我在这个赛道上根本赚不到足够的商业利润，那我倾注这么多心血图什么呢？
从纯技术角度讲，现在那些头部实验室既然有能力调用几千张显卡去训一个万亿参数的巨型模型，只要他们愿意，完全可以用同等级别的技术和数据管线，降维打击训出一个比现在市面上所有小模型都强得多的端侧模型，大家之所以没去干，纯粹是因为在商业上不划算。所以，怎么在端侧生态里跑通闭环、真正赚到钱，是一个决定生死的问题。因为只有能赚钱的赛道，才能吸引社会上的增量资金和最聪明的大脑源源不断地涌入。
这里面还衍生出第二个很有意思的商业博弈：假如未来海量的日常任务真的都被端侧本地模型接管了，那现在巨头们砸下天文数字建设的云端数据中心，投资回报会不会受到严重冲击？
当然，从绝对智力上限来看，数据中心里的大模型永远会比端侧模型更聪明，这是物理规律决定的。那么问题就变成了：普通消费者究竟愿不愿意为了换取端侧本地运行的能力，去额外支付更高的硬件溢价，或者容忍端侧运行带来的种种体验妥协？要知道，在本地跑模型，生成速度可能会变慢，还会死死占住你电脑或手机的宝贵内存，导致其他日常 App 卡顿甚至闪退。
消费者到底愿不愿意为了所谓的“本地化”去忍受这些不便？我觉得目前还很难乐观。因为我观察到的真实人性趋势是：绝大多数普通用户，依然愿意为了更强的能力和极致的便利，毫不犹豫地牺牲掉个人隐私。就像大家明知道 Facebook 等社交巨头每天都在收集个人数据，但为了社交便利，大家依然用得不亦乐乎。
所以，端侧模型过去一直主打的“隐私保护、低延迟”等卖点，在当下这个时代，可能还需要花更多时间去打磨，才能找到那个真正让用户非用不可的刚需场景。
DeepTech：所以端侧模型最重要的，还是找到合适的场景。
王铁震：对。当然，市面上永远会有一批团队坚持做端侧模型，我自己也始终看好它的长期前景；但我们要冷静判断的是：现阶段整个 AI 产业的主航道，究竟是不是在端侧？
你放眼望去，现在全球这么多明星 AI 公司，有几家敢站出来说“我全部身家就只做端侧模型”？凤毛麟角，对吧？这本身就说明产业界的主流资金和注意力还没有押注在端侧。背后的结构性原因就是刚才聊到的那几点：消费者到底买不买账、愿不愿意为了本地化做出体验妥协，以及端侧模型在受限的尺寸下，性能究竟能不能逼近云端大模型，这里面依然存在太多不确定性。
不过，如果把时间尺度拉得足够长，试想未来的某一天，当我们桌上的笔记本电脑在完全不怎么发热的情况下，单机算力就已经达到了今天一台八卡 B300 服务器的水平，那还需要争论吗（笑）？到那时，所有模型肯定全都直接在本地端侧跑了，因为那相当于你直接把一座数据中心浓缩搬进了自己家里。这就好比我们今天回头看上世纪 80 年代：现在我们手里随便一部智能手机、一台轻薄本的算力，就抵得上当年一整间大型机房。所以把眼光放得足够远，端侧模型的终局是毫无疑问的；只是通往终局的中间过程一定会充满波折，具体怎么演进，我现在也看不太清。
开源和闭源会走向融合
DeepTech：未来闭源模型和开源模型会不会形成一个比较明确的分工？闭源去追 frontier、追智力的上限；开源像 DeepSeek 的 Flash 那样，以比较有性价比的方式干活，或者以本地端侧模型做一些具体的小功能。
王铁震：这个问题里隐含的好几个前提假设，我其实是不太认同的。
首先，“端侧模型就一定等于开源模型”这个假设就不成立。端侧模型完全可以是闭源的，比如厂商直接把它深度封装在硬件或操作系统产品里，黑盒交付给用户。比如现在的 Windows 系统里其实就已经内置了微调过的 RWKV 模型，用来支撑某些高级拼写检查或系统级功能，但绝大多数普通用户根本不知道它的存在，也不知道模型权重藏在哪个系统文件夹里，微软更不可能把这个内置模型开源出来。在技术发展的早期阶段，极客们会非常关心底层用的是什么模型架构；但当产业步入成熟期后，用户只关心产品能不能解决自己的实际问题。所以，把“端侧”和“开源”直接画等号，在商业逻辑上是不成立的。
其次，认为“开源和闭源未来一定会界限分明、各司其职”，我也不同意。恰恰相反，我认为开源与闭源在未来会走向深度融合。两者的区别，本质上只是企业选择了用什么样的商业模式去交付产品：你是愿意开放边界、带着上下游生态里的更多人一起分蛋糕，还是选择自己把整条链路全部吃干抹净？
你看现在的一个明显趋势是，越来越多的头部开源模型正在转向带有商业化限制的许可证，比如 MiniMax、Kimi 都在往这个方向走。我个人非常支持他们采用商业化 License。因为一旦有了规范的商业授权，像我们这样提供底层推理服务的厂商，就能名正言顺地获得模型原厂更好的技术支持，双方绑定更紧密，最终终端消费者也能用上质量更有保障、更稳定的 Token 服务。
但按照开源原教旨主义者的严格定义，一旦你在协议里加上了商业限制、开始收授权费，那你就不再是纯粹的“开源（Open-source）”，而仅仅是“开放权重（Open-weight）”或者分享权重而已。可如果顺着这个逻辑往下推：OpenAI 其实也把模型权重分享给了微软，那这算不算一种定向的“开放权重”呢？所以你会发现，当所有技术最终都必须在商业层面自洽时，那种非黑即白的“开源 vs 闭源”二元对立就会越来越模糊，取而代之的是一种中间态的融合。
我觉得一个更准确的商业类比，是早年 PC 时代的 “IBM 兼容机”与“苹果一体机”之间的关系。
开源模型走的是 “IBM 兼容机”路线：它的接口和边界定义得非常清晰，输入是什么、输出是什么、需要什么样的上下游软硬件供应链一起来配合服务客户。所以做开源模型，本质上是盟主带着整个生态体系一起玩。而闭源模型则代表了商业垂直整合的极致，走的是“苹果路线”：像 OpenAI 和 Anthropic，从最底层的芯片与数据中心建设，到中间的模型训练、推理优化，再到上层的 API 售卖和企业级应用服务，一条龙全部由自己包办。
作为外部参与者（比如一家 AI 创业公司），在闭源巨头的体系里，你最多只能当个交钱调 API、买配额的客户，几乎不可能切入到它核心价值链的其他环节去分一杯羹。我认为，这才是开源与闭源在未来最本质的分野。
当然，我上面讨论的都是必须跑在数据中心里的超大模型。至于参数量较小的基础模型，未来肯定还是会有庞大的纯开源需求。因为开发者和企业手里总归有自己的硬件设备，而且随着硬件算力不断升级，今天大家拿单机能跑 20B（200 亿参数）的模型，过两年可能随手就能跑 30B，甚至一两百 B 的模型都不稀奇。
急大家之所急
DeepTech：除了开源更好的模型，像 DeepSeek 那样开源得更彻底，比如他们最近又开源了推理引擎，未来会不会成为一种获得影响力、或者破局的方式？
王铁震：对于刚入局、急需立威的新玩家来说，这确实是一条好路子；但对于已经建立起行业地位的老玩家而言，当他们已经开始思考如何在开源生态里获取商业回报、再用利润反哺研发时，“开源得更彻底”其实并不能帮他们解决商业化问题。
未来谁最有可能继续做那种毫无保留的“彻底开源”？通常是那些经费极其充裕、没有短期营收压力、研究员文化又比较纯粹的独立机构，或者是科技巨头内部偏前瞻探索、不太考核短期商业回报的研究院部门。比如在国内，我觉得 DeepSeek 和阿里的千问，依然会是未来持续不断对外开源的中坚力量，因为他们团队的基因和资源禀赋决定了他们可以这么干。
但即便强如他们，未来究竟能“彻底”到什么程度，其实也很难说。哪怕是目前全世界开源得最彻底的团队，在实操中也会撞上很多客观瓶颈，比如涉及版权或隐私的训练数据根本没办法公开，公司内部深度耦合了自有基础设施的训练代码也很难直接剥离出来开放，这里面有太多工程与合规上的挑战。
而且这里有一个非常现实的基本判断：如果你把开源做到极致的纯粹，比如把清洗好的全量数据集和训练管线全盘托出，这固然会让高校和实验室里的学术研究员（Researcher）拍手叫好；但对于开源社区里占绝大多数的应用开发者和企业使用者来说，大家除了在社交媒体上给你鼓掌点赞之外，这些底层训练资产对他们的日常业务其实并没有太大的实际用处。
我觉得像 DeepSeek 这样“急大家之所急”，不去讲纯粹不纯粹，可能是一个比较好的策略。当大家都在问 DeepSeek 官方为什么能以这么低的成本做推理，DeepSeek 就在开源周直接把很多东西公开了。
我记得当时社会层面也有一个大讨论：DeepSeek 价格这么低，到底是为了抢市场，还是真的很赚钱？DeepSeek 的回答是，你要是有这个担忧，请看我们开源的项目。它成功证明了自己，让整个社会的推理成本降了一大截。这次开源 DeepInfer 推理引擎，其实也起到了类似的效果。在开得更彻底这件事上，采取这样比较务实的态度，可能对社区的帮助是比较大的。
DeepTech：那么在你看来，未来三到五年的开源社区究竟会如何发展？
王铁震：如果看三到五年，我在想那时候大家还会关注什么。当整个社会的算力极其充沛、Token 的生产成本低到可以忽略不计，且围绕模型的开源工具链生态已经建设得非常完备时，大家使用 AI 就会像今天呼吸空气、吃饭喝水一样自然。
这就好比互联网早期的搜索引擎：我刚加入 Google 的时候，大家还觉得搜索引擎是一项特别酷、特别前沿的高科技；而到了今天，如果你在浏览器里打不开 Google，你的第一反应绝对不是 “Google 的搜索算法是不是出 Bug 了”，而是“是不是我家的网断了”？一旦某项技术真正沉淀为社会的基础设施，大众看待它的视角就会发生根本性的转变。显然，今天的 AI 还处于被大众当成“新奇高科技”的阶段，距离真正隐入幕后的水电煤基础设施还有一段路要走。
那么，等三五年以及更远后 AI 真正变成了随手可得的基础设施，人类还需要在这个领域探索什么？我觉得是回到基础科学层面，去真正理解模型的本质。
直到今天，我们对大模型这个“黑盒”内部到底在发生什么，依然知之甚少。这种无知直接导致了一个悖论：模型的能力越强，人类的恐惧和担忧就越大。因为你根本不知道它为什么能做对，也不知道它的某项能力到底是从哪来的、怎么在训练中涌现出来的。就像前面聊到的模型网络攻击能力，今天没有任何一个科学家能给我彻底讲清楚，这种攻击性到底是怎么产生的？究竟是某些公司在数据里恶意训练出来的，还是当参数规模跨过某个阈值后自然涌现的副产物？
如果未来我们拥有了足够充裕的算力和时间，我们是不是应该回过头来，像研究自然科学一样去刨根问底，搞清楚大模型背后的第一性原理？比如，智能涌现的相变（Phase Transition）究竟发生在哪一刻？模型内部那数千亿个权重参数之间，到底在以什么样的方式协同工作？
最近学术界有一项我个人觉得非常迷人的研究工作，是用大模型的权重去直接模拟 CPU 的行为（Qwenputer）。这项工作在某种程度上证明了，大模型的网络架构本身在数学和计算上可能是“图灵完备”的。如果它真的是完备的，那就意味着像传统计算机程序这样的确定性逻辑结构，可能可以被模型通过梯度下降“自己学习”出来的。
顺着这个思路再往前推一步：如果它可以不是由人类工程师手写设计、而是通过数据自己迭代学出来的，那我们用什么样的方法能引导它更高效地学出这种结构？再大胆假设一下：今天全世界有这么多团队在日夜不停地训练超大规模的模型，在那些已经训练成型的千亿参数大模型内部，是不是早已经在无人察觉的角落里，自发形成了一些类似于“计算机中有计算机”的底层逻辑结构？
我觉得这些都是极其迷人的科学问题。你想，人类文明从蒙昧走向现代工业社会之后，当温饱与生存不再是问题，人类就开始用心理学去剖析自己的意识是怎么产生的，用现代医学去研究自己的躯体，用脑科学和神经科学去探索大脑的奥秘。同样的道理，当 AI 演化到足够成熟的那一天，我们面对它时，也必然会升起那种终极的追问……
DeepTech：我到底是谁？（笑）
王铁震：对，一定会走向这种带有哲学意味的追问，以及大量深入到底层机理的基础科学探索。这是我个人未来会非常着迷的方向。
而且，搞清楚这些底层原理绝不仅仅是为了满足科学好奇心，它有着极其重大的现实意义。只有当我们真正看清了模型内部的工作机理，我们才能在训练中精准地引导它少走弯路，从根源上剔除它产生攻击性和恶意行为的可能。更重要的是，这种安全将建立在“白盒理解”之上——它不再是靠事后找几百个人去搞红队测试“测”出来的安全，而是从基础科学和数学层面上直接给出严格证明：这个模型在结构上就绝对不具备某方面的作恶能力，或者天然受到了某种物理级别的刚性限制。到了那一天，人类再使用 AI、与 AI 共处时，心里才会真正踏实、真正充满信心。
DeepTech：就像前面说的石油，我们知道它有什么成分，才能把它用得更好。
王铁震：没错。其实人类发现石油的历史非常早，我记得中国早宋朝时期（沈括在《梦溪笔谈》里）就已经记载了类似石油的物质，但那时候古人拿它也就是点把火烧一烧，或者拿烟灰制墨。直到近代人类发明了显微镜、建立起现代有机化学体系，从分子层面对石油有了基础科学的理解之后，人类才恍然大悟：原来石油是这么来的，原来它可以衍生出一个庞大的现代工业文明。站在今天看大模型，我们对它的理解与利用，或许才刚刚走出“点火烧油”的阶段。
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成
