今天不忙,听了一期商汤首席科学家林达华的播客。
林达华可能很多同学不太熟悉,但他其实是我刚入行 AI 时的偶像之一。我记得应该是 2014 年那会儿,深度学习已经慢慢火起来了。
当时我的领导推荐我读过林达华的 AI 论文。他在 2010 年就拿到了 NIPS 最佳学生论文奖。那会儿,能在这种世界顶级 AI 学术会议上拿奖的华人学者很少。
至于商汤这家公司,我估计大家都很熟悉了。国内最早的 AI 公司之一,十年前就已经在研究并探索 AI 的应用了。

商汤在这一轮大模型浪潮里,未必是最抢眼的那一个,但商汤其实一直也没停下来。
除了继续研发大模型,也在做一些具体的应用,比如我之前写过的视频 Agent Seko、办公 Agent 小浣熊,以及一些颇有原创性的技术探索。
恰好最近我有个感触,人在不同的人生阶段,对很多事情的看法也会变化。
公司也是一样。
商汤经历过上一轮 AI 浪潮,从快速增长到经历较长的投入期与盈利考验,再到这一轮大模型的兴起。
经历了这么多之后,我感觉这家公司现在对很多问题的思考,也和新一批 AI 创业公司不一样。
#01
大模型的商业模式真成立吗?
商汤在上一轮 AI 浪潮里的增长非常快,但与此同时,距离稳定盈利仍有一段路要走。
这一轮的大模型创业公司,其实也面临类似的问题。
虽然收入和用户规模都在快速增长,但与此同时,模型训练、算力和研发的成本增长更快,几乎所有的公司至今仍然处于亏损状态。
为啥最近硅谷很多投资人看空 Anthropic 的 IPO,其实就是这逻辑。
在行业上升期,只要能够持续拿到融资,这种模式就可以一直往前走。
但融资终究不能代替商业闭环。企业最终还是要找到能够持续创造价值、赚到钱的办法。
就拿创业来说,前些年我更多考虑的是怎么拿到融资,怎么把业务规模做大。但现在,我会花更多时间思考,怎么把公司经营得更长久,而不是轻易冒进。
没有对错。不同阶段不同的经营心态。
林达华说,现在的 AI 行业,建立在一个非常重要的商业假设之上,但这个假设未必成立。
大家的设想是,只要训练出一个顶尖的基础模型,未来就能通过大规模商业化,把前期的训练成本摊薄,然后获取丰厚的利润。
这个逻辑听起来确实合理。
但问题是,目前大模型的技术竞争实在太激烈了。
你花几十亿、上百亿训练出来一个顶尖模型,可能还没来得及收回成本,就必须开始投资下一代模型。因为如果你不继续投入,很快就会被竞争对手超过。
这不只是国内模型公司面临的问题。
大家可以看看 Anthropic 最近公开的招股书。即便是 Anthropic 这样已经拥有庞大收入规模的公司,研发、算力和基础设施的投入依然非常大。
大家可以观察一下,现在牌桌上的这些头部模型公司,基本上两三个月就会推出一个新版本。当然,不一定每次都要从头预训练,有些版本可能主要依靠后训练和工程优化。
但一代模型真正保持竞争优势的时间窗口,也就几个月时间。上一代模型的训练成本可能还没有收回来,就得立马着手准备新的模型。
而且,训练成本只是其中一部分。模型发布之后,还需要承担推理服务成本。偏偏现在 API 的价格竞争又非常激烈,很多公司也在不断降价.......
如果始终处于这种竞争状态,原来设想的那套训练成本摊薄逻辑,很难真正成立。
这个问题在今年、明年可能还不会完全暴露出来。
因为行业仍然处于快速发展阶段,资本也愿意继续投入。
但像当年的百团大战那样,当市场格局逐渐清晰,资本开始判断哪些公司更有可能最终胜出,其他公司的融资环境就可能迅速恶化。
到那个时候,有些公司可能被收购,有些公司可能退出市场,还有一些公司就必须找到能够独立生存的商业模式。
商汤其实已经经历过类似的周期。
#02
商汤的选择
所以,商汤确实认真思考过,到底应该怎么参与 LLM 这场竞争。
比如,要不要训练一个 2T 参数级别的模型?
林达华说,从商汤的资源条件来看,他们还是有机会做这件事的。但问题是,如果把大部分算力和研发资源都投入超大规模模型训练,其他研究方向就没有那么多资源了。
所以,这实际上是个资源分配的问题。
他们内部讨论过两条路线。
第一条,就是继续扩大模型规模,从 5000 亿参数做到 1 万亿、2 万亿,甚至 5 万亿。通过更大的参数规模,争取把模型的能力上限继续提高。
这也是目前很多头部模型公司都在探索的路线。
第二条,把模型规模控制在几百 B 的量级,然后不断优化架构、训练方法和数据质量,尽可能把这个规模下的模型能力发挥出来。
商汤选择了后者。
因为他们判断,从实际应用的角度来说,模型未必需要做到几万亿参数,才能满足用户的需求。
现在很多 Flash 模型的表现已经非常好了。经过充分的训练和调优,中等规模的模型同样有机会达到很高的性能水平,而且训练和推理成本通常也更容易控制。
这和 Google 逻辑很像。大家熟悉的话会知道,Google 把 Flash 定位为 Workhorse Model,也就是承担大量实际任务的主力模型。
对于真正使用模型的大众用户来说,模型究竟有几千亿还是几万亿参数,没那么重要。普通用户更关注的还是成本、速度和任务的完成质量。
特别是在当前 API 价格竞争如此激烈的情况下,如果能够用更低的成本提供足够好的模型能力,无论是商业化,还是实际的用户体验,都会有很大的优势。
商汤本身就有小浣熊、Seko 等 AI Native 的应用,这样他们就可以从真实的用户需求出发,有针对性地优化模型能力,而不用在所有 Benchmark 上都去争第一。
这让我想起前两天写的腾讯 Hy4 flash。
其实我觉得很多人根本没有看懂 Hy4 flash 这个模型本身就是奔着 WorkBuddy 的应用场景去的。只要能完成 WorkBuddy 中 80%的典型任务,那这个模型其实就够用了。
很多人没想明白这事。
而且,控制模型规模还有个好处,就是可以提高研发效率,保留更多算力和研发资源。
林达华提到,当模型规模缩小到原来的几分之一,在其他条件相近的情况下,同样的资源就可能支持更多轮实验。
这样,团队既能持续优化现有的模型和产品,也有余力去探索一些暂时还没有形成行业共识的新技术。
为了避免误解,我还是声明一下,这并不是否认大参数模型的价值。更大的参数量依然意味着更高的能力上限。只是不同公司面对竞争的不同选择逻辑而已。
#03
一些非共识的技术探索
接下来,再聊聊商汤在原创技术方面的一些探索。
说到这儿,得先提一下商汤的创始人汤晓鸥。他也是中国 AI 界举足轻重的人物,可惜已经去世了。
汤晓鸥当年给商汤设计了一只小黑羊作为吉祥物。因为羊是一种比较温和的动物,没有那么强的攻击性。这也符合汤晓鸥本人的性格,他不太喜欢咄咄逼人的竞争方式。
但为什么又是黑色的呢?
因为大多数羊都是白色的,黑羊就显得与众不同。汤晓鸥希望商汤也能保持这样的特点。虽然性格温和,但在技术研究上,要敢于走不一样的路,做出真正有原创性的东西。
商汤在选择了 Flash 的模型路线之后,也在继续探索一些有可能形成差异化优势的新技术方向。他们的初心还是希望能够做出来一些改变行业方向的关键性探索,而不只是跟随。
现在整个 LLM 领域,定义全球前沿模型能力上限的,仍然还是硅谷的 OpenAI、Anthropic,它们某种程度上已经成为整个行业的北极星。
比如,今年上半年,大家都在重点强调 Coding 能力,国内模型公司也纷纷加大 Coding 方面的投入。
到了下半年,3D 建模、Blender 等能力越来越受关注,很多模型又开始重点展示这方面的效果。
很多时候是硅谷的两个前沿模型先证明某个方向值得投入,然后整个行业迅速跟进。
当然,我并不觉得这种做法有什么问题。
毕竟人家已经验证了一条技术路线,其他公司在此基础上继续优化,可以降低研发风险,也有机会用更低的成本做出不错的模型。
但长期来看,这种方式还是比较被动。
因为你始终沿着别人探索出来的道路往前走。
别人取得新的突破,你再迅速追赶。即便能够追得非常近,也很难形成自己真正有差异化的技术能力。
所以,商汤很久之前就在思考现在的 GPT、Opus 等领先模型,到底还有哪些事情做不好?发现问题之后,他们会继续往下追问。这些模型为什么做不好?
是因为训练数据不够,还是因为现有的技术路线本身就存在局限?
如果只是数据不足,那么人家继续增加相关数据,是不是很快就能把这个问题解决?如果答案是肯定的,那这个方向可能具有应用价值,但未必值得作为一项长期的底层技术研究。
因为其他公司沿着现有路线继续发展,就有可能自然地解决这些问题。
他们真正想寻找的,是那些沿着现有技术路径,单纯增加数据和模型规模也很难解决的问题。
后来,商汤团队在空间智能的研究中,还真发现了个很反常的现象。
比如,我们换个角度观察一个物体,看到的大小、形状和局部特征都会发生变化。这对人类来说非常自然,但林达华发现,当时很多多模态模型却很难准确理解这种空间关系。
他们最初怀疑,是不是相关的训练数据不够多?
于是尝试增加数据,结果发现,模型不但没有变得更好,在部分任务上反而越来越混乱。
这就出现了所谓的 Anti-Scaling Law,也就是反 Scaling 现象。
大家都知道,Scaling Law 是过去几年大模型发展的重要规律。通常来说,增加模型规模和训练数据,有助于提升模型能力。
但商汤的实验发现,在一些空间理解任务上,增加数据反而可能让模型表现变差。
林达华认为,一个重要原因是,当前的多模态模型过度依赖图像和语言之间的语义联系,却没有真正掌握物体在三维空间中的变化规律。
如果新增加的数据也没有建立起足够的空间关系,反而可能进一步强化模型已有的语义认知,让这个问题变得更加严重。
这其实也涉及他们对多模态技术路线的一个重要判断。
过去几年,LLM 在数学、编程和逻辑推理方面取得了非常大的进步。但林达华认为,语言虽然是一种知识密度很高的信息载体,却无法完整表达真实世界里的所有信息。
比如空间结构、物体运动,以及一些细微的视觉特征,很多时候直接通过视觉来理解,比转换成语言描述更加高效。
但目前很多多模态模型的推理过程,仍然高度依赖语言。
简单来说,很多多模态模型会先从图片中提取视觉特征,再交给以语言模型为核心的系统进行分析。虽然模型能够看图,但推理过程仍然主要依赖语言。
问题是,这个过程中可能丢失一些重要的视觉信息。
所以,商汤这两年也在探索,能不能让视觉信息真正参与模型的思考过程。
简单来说,就是让模型在思考过程中,除了使用文字,还能够利用图像来辅助推理。
比如我们解几何题的时候,光靠文字分析可能比较困难,但如果在纸上画个图、添加几条辅助线,很多问题就容易理解了。
今年 9 月,商汤公布了 U1.5 的技术报告。这个模型已经开始尝试在推理过程中自己生成中间图像,再结合文字继续思考。
这也是他们探索理解生成统一的一个方向,希望模型能够在同一套架构中完成视觉理解、推理和生成。
当然,这些研究还处于探索阶段,距离真正解决空间智能的问题还有很长的路要走。
林达华有个观点挺深刻,他说单纯提高图像、视频的生成质量,对智能水平的提升可能比较有限。
但如果能够把空间感知等视觉能力真正融入模型的思考过程,就可能让 AI 获得一些单靠语言很难发展出来的能力。
这对于未来的机器人、具身智能,以及 AI 与真实物理世界的交互,可能都非常重要。
林达华这期播客里,还是有很多非共识的判断。对于我们从另一个视角理解当前 AI 行业正在发生的变化,很有帮助。大家有机会的话,可以听听。







