钟元鑫97年出生，清华车辆工程本科，密歇根大学博士，博士期间在 Waymo 和苹果 Vision Pro 组实习，25岁成为华为诺亚智驾方向首位天才少年。2025年底离开华为，联合创立日冕（Rimbot）。
从本科到博士，他两次从零搭建完整的自动驾驶平台——这在学生中间几乎没有先例，大家都是基于开源做。工作后又经历了智驾领域三代技术范式的切换，从大模型到 VLA 再到世界模型。这些经历让他形成了一个判断：通用大模型离操控物理世界还很远，具身智能必须独立做基座模型。
日冕的核心架构叫 LaMPA（Latent Masked Predictive Architecture），延伸自 LeCun 的 JEPA 体系，但加入了 Mask 机制和 Block Diffusion。它在隐空间里做"完形填空"式的预测——每个 Block 内部用双向注意力处理图像，Block 之间保持因果关系处理时序。实测推理速度比纯自回归快约10倍。钟元鑫认为这个架构同时解决了 scaling 最关键的两件事：推理侧的 Infra 适配，和训练侧的数据效率。代价是训练收敛比纯自回归慢，因为模型需要学会补全任意位置被抠掉的 token，对训练经验和数据适配的要求更高。
架构之外，他们搭了一套 E-E-E 表征体系——Environment（环境）、Ego（自我）、Experience（经验）。这套表征带来的直接收益是：不同自由度的灵巧手、不同配置的触觉传感器、甚至人手视频数据，都能编码进同一个空间混合训练，不需要做 retargeting。目前数据规模已达上亿帧，其中约90%是异构视角的人手数据。
钟元鑫在访谈中逐项拆解了他在每个技术岔路口的选择依据：为什么放弃显式因果推理，为什么认为思维链对轨迹级任务提升有限，为什么选择 JEPA 这个尚未在真实机器人上充分验证的体系，这些判断对不对需要时间验证，但推演过程足够具体——有实验数据、有失败案例、有工程细节，不是空谈方向。让我们一起走进钟元鑫的故事，enjoy!
01 历经三代技术范式切换，确立具身基座模型的独立路线
ZP：按照惯例，先请钟博自我介绍一下。
钟元鑫：本科是清华大学车辆工程专业，大二开始自己搭自动驾驶系统。大三入选了清华"星火计划"——每个院系可能就一两个名额的科研人才培养项目，我是我们系唯一一个，用大二自建的自动驾驶仿真系统作为申请材料拿到了名额。本科毕业时，我给组里搭了一个完整的自动驾驶平台，完全自己写的，对标 ROS。
博士去了密歇根大学，导师是 Mcity 的 Director 彭辉教授——Mcity 是全美第一个动态的自动驾驶测试场。博士期间把自动驾驶全栈做了一遍——感知、建图、预测、跟踪、决策、规控，从零到一搭系统、上车实测。同时搭了第二套仿真平台，后来一个师兄基于它做了一套强化学习框架。2020年我们就在用 RL 做智驾，回头看，2022、2023年各家公司才大规模应用 RL。
期间在 Waymo 和苹果实习。Waymo 那时候做行人意图识别已经非常细了——100个像素的行人能把骨骼姿态识别出来，甚至通过眼神判断他要不要过马路。苹果去的是 Vision Pro 组，当时还在秘密研发阶段，做3D空间物体检测和跟踪。
ZP：从本科到博士，两次从零搭自动驾驶平台，这在学生中很罕见。为什么要做这件事？
钟元鑫：初高中信息奥赛加上本科计算机二学位的经历，让我在汽车系里算是计算机底层功力比较突出的。当时的动机是组里觉得不能一直用开源平台，我觉得 ROS 实时性和带宽都不够好，就自己动手搭了一套。
绝对是非共识的选择——那个时候愿意自己搭平台的应该只有公司，实验室更关注学术问题，鲜有投入工程平台的。但节点通信、Linux组件动态加载……这些原理都是自己摸透的。这个选择让我得到了非常全栈的训练，也是为什么博士毕业后选择进入工业界——我希望自己看重的东西能落在机器上，产生真正的效益。
ZP：公开信息显示，您是华为智驾方向首位天才少年，25岁加入。在华为主要做了什么？
钟元鑫：博四博五的时候觉得需要先去大厂了解组织体系，所以去了华为。进去之后做了三代智驾范式——第一代端到端，第二代 VLA，第三代世界模型。中间验证了很多思考——我们当时测试让最新的 VLM 判断前方行人在左边还是右边，成功率甚至不如50%。这让我确认，通用基座模型离操控物理世界还很远，具身智能必须独立做基座模型。
ZP：具身智能创业公司很多，为什么最终选择了日冕（Rimbot）？
钟元鑫：跟肖博10年前就认识（毕设课题组的师兄），在25年早期就有世界模型的交流——当时我们刚开始搞世界模型，肖博也在做交互复杂场景的世界模型。做了很多学术交流之后，发现大家对模型怎么 scaling、什么样的模型有价值能落地，认知非常一致。后来跟肖博、还有我们另一个联创云龙，陆续聊了大半年，从第一性原理思考得到了相同的结论，所以决定走到一块。
具体来说有几个核心共识。
第一个：数据闭环非常重要。 做智驾的人都有这个经验——智驾早期每家公司买几百辆测试车天天采数据，但覆盖的场景可能就1%或10%，远远没到解决长尾问题的地步。真正能解决问题靠的是用户数据和数据闭环。
第二个：大模型时代，模型不是最核心的，数据和 Infra（基础设施）才是。 怎么高效训模型？怎么快速试错？怎么在端侧快速验证？这对训练很关键。
第三个：操作（manipulation）是当下最具价值的方向。 我们早期看了很多方向。思考之后发现，navigation在商业上已经基本是solved problem；locomotion 在 robotics 学科界也看得比较清楚；manipulation 一方面业务收益最高——代替人做事、自动化完成任务，都需要 manipulation 的 solution；另一方面当下正处于技术突破前夜，谁先做好谁就能领先。当然，我们并不是不做 locomotion 和 navigation，只是优先级没有那么高。而且我们在做的世界模型本身也不只是解决操作问题，它同样能理解世界、做导航。
02 拆解环境、自我与经验三子表征
ZP：请用一句话介绍日冕（Rimbot）的定位，以及你们目前最核心的技术工作是什么？
钟元鑫：我们做的是一个原生的物理世界基础模型，最直观的应用是解决操作问题。具体范式是我们的 LaMPA 架构，任务是完成精细且灵活的操作。这是我们认为最核心的场景和赛道。
日冕有一个 slogan 叫 “Drive Every Move”。我们希望成为行业里所有解决方案背后的驱动力，给大家提供这样的能力。所以还是想做一家技术公司。
ZP：除了训练范式，表征体系是你们基座模型的另一大支柱。我觉得"表征就像一个人认知世界的方式"——日冕的表征体系具体是怎么设计的？为什么是这样的结构？
钟元鑫：你的直觉非常对。我们每做一个新领域，先关注怎么表征，再关注怎么做下游任务。以前做传统 CV——检测、分割——大家都有个基座模型（ResNet、UNet）把视觉表征做好，才好加各种 task head。
做智驾也是——六路、八路甚至更多相机，可能还有激光雷达——得先把这些信息处理明白了。大家为什么不在2018年就做端到端？就是因为前面感知架构没搞好。得先把 BEV（Bird’s Eye View）这些搞明白了，端到端才能做好。
具身智能也是如此——我们要操控这个世界、改变这个世界，前提是对世界的认知足够完备。从第一性原理出发，我认为世界包含三块：
第一，Ego——自我。 这是别的领域的 AI 都不具备的——无论是语言模型还是 VLM，都不会有一个模块说"我现在自己状态怎么样"。这是具身智能独特的——我得知道关节状态、电流用了多少力、手上触觉收到多少反馈。
这里我延伸一下。密歇根大学有个我很崇敬的老师叫 Jessy Grizzle——整个 Michigan Robotics 的首任院长。他有个学生做的是让机械臂光靠碰撞——撞各种地方——来把环境三维空间建出来。全靠本体，没有视觉甚至没有触觉，就全靠电机状态还原世界。这就是对自我感知认知的极致例子——对自己认知足够强，就能很好地和物理约束交互。所以这块我们投入比较多。
第二，Environment——环境。 跟智驾很像——4D表征、时空表征都是这个范式。出发点是对环境的几何和语义有充足详细的认知——做3D重建、NeRF、3D Gaussian Splatting 来训 encoder。这是比较清楚的范式，往后加数据就行，我们投入不算太多。
第三，Experience——经验。 经验是我们今年发力的方向。大家讨论大模型最直观的原因就是想承接它蕴含的知识。但我觉得直接基于大模型微调不是正确选择，而是要把能力蒸馏到一个表征模块上。
这个表征能根据视觉状态知道操作常识——水杯应该这么拿、焊枪应该这么握、不同工具有不同握法和使用方法。甚至物体有多重——看一眼就差不多知道了，不用摸。我们把 DeepSeek、Claude 这些最强大模型的能力蒸馏进来——但它们看不见真实世界，所以我们把世界数据转成结构化信息，做检测、分割，描述得足够完备后喂给大模型，大模型通过文本告诉我们该怎么解，我们再把这些知识揉到表征里面。
我们把三个缩写成 E、E、E——Environment、Ego、Experience。这三个表征不是互相独立的，有交融。我们现在的做法是简单地拼在一块进入模型，后面可能会做成统一表征模型——但那是比较长期的事。
还要补充一点——这个表征是对单帧状态的描述。帧与帧之间的关联通过世界模型去学——世界模型学的就是状态之间的迁移和变化规律，即时间维度上的变化法则。
ZP：为什么恰好是这三个维度，而不是更多或更少？而且它们之间似乎不是完全正交的——比如捏一个东西之前预判反馈，既涉及环境信息也涉及自我信息。训到最后会不会只剩其中一个维度在真正起作用？
钟元鑫：这就是哲学思考了。我们看了一些哲学的书——人对世界的理解确实就是自我、他我和经验这三块。
至于会不会训到最后只剩一个有用——不会。我们现在就发现触觉数据很重要。有些任务，比如盲操盲插一个 USB——看不到的地方只能靠触觉感知——肯定有场景强依赖这些信息的。
ZP：这套三子表征体系在实际收益上验证到什么程度了？有没有已经看到的、比较确定的优势？
钟元鑫：我们正在完成下游任务的验证。但比较明确的收益是——通过统一表征，我们能把所有数据都吃进来。别人做不到——比如你的 VLA 没有触觉模块就用不了触觉数据，你的模型只支持6自由度就吃不了7自由度的数据。我们通过统一表征，无论什么传感器配置、什么自由度分布，都能编码进来。
这让我们的数据量能达到上亿帧。配比大概是异构视角的人手数据占约90%——Ego4D、EgoExo4D 这些学术数据集。它们只有人视角，而且跟机器人自由度不同，一般做人手到机器人手的迁移不容易。但我们不需要做 retargeting——人手数据和机器人手数据直接混训，没有任何问题。我们最近发布的论文的核心理念就是"No Retargeting"——因为 retargeting 有损失。
ZP：行业里也有不少团队走显式3D重建的路线。您怎么看这条路线的前景？
钟元鑫：显式路线有应用场景。比如做上一代仿真产品卖给客户——客户要求精度非常高——做显式重建更有优势。原则就是"监督什么就学什么"，监督像素就能把像素学最好。但缺点是像素精度高不意味着表征能力强。可能针对每种应用有最优架构，但它不是一个能在所有任务上泛化的范式，不是一个大一统的基础范式。
ZP：最近你们连续发布了 UniDexTok、HT-Bench、PalmDex 几项工作，它们分别在解决什么问题？背后的整体逻辑是什么？
钟元鑫：这些都是在构建"自我"表征。坦白讲，我们刚创业的时候比较天真——觉得灵巧手都说做了两三年了，应该差不多了。结果看下来没人做，发现太难了。触觉传感器也是——听了好些年头了，到现在也没几家公司能稳定采集全掌触觉数据。
所以一方面我们自己探索，另一方面需要跟学术界交流，吸纳更多人来做这件事。
UniDexTok 是灵巧手的统一表征——能把不同自由度的手用一个 tokenizer 建模进来，不需要 retargeting。我们上限设的是22到24自由度，基本能 cover 目前和以后所有灵巧手。人手数据大部分是 MANO 格式的，我们用一个非常低损失的方法降维到24维——误差只有0.7毫米，基本可以认为是无损——所以能直接映射到各种灵巧手的空间。
HT-Bench 包含一个叫 HandTouch 的模型，是统一触觉表征——我们把所有触觉传感器通过"手型拓扑图"映射到一张2D图上。为什么是图？因为图比较好建模——局部空间关系用2D卷积就能处理，识别凸起、纹理很容易。不同布局的传感器——有的只有指尖数据、有的全掌、有的有值有的没值——都能映射到同一张图上统一建模。
PalmDex 是我们发布的一个数据集。全掌触觉数据真的太少了，如果行业没有数据就没人跟你一块做这个事。所以我们以开源形式提供，也欢迎大家来贡献数据、做评测，希望推动行业往前走。
ZP：统一表征免去了 retargeting 的需求，迁移效果不错。但这种方式有没有局限性？比如是否只能从高自由度往低自由度迁移？
钟元鑫：还是有些限制。但上限设的22到24自由度，行业里做灵巧手的公司上限也就23自由度，再往上也没必要了。
ZP：你们还提到了一个 Latent Completion Model，它具体是做什么的？跟前面的统一表征有什么关系？
钟元鑫：这是统一表征的一个下游应用。有了统一表征后，A、B、C 三个模态都在同一个空间，把 A 映射进去再反推到 B——就有了跨模态迁移能力。
比如把视觉迁移到触觉上。做触觉的人都知道，从单帧视频还原触觉力度基本不可能——没有信号。但有个 trick：通过完整视频——比如10秒钟的所有动作——来推断力的大小。举个例子：拍网球弹了多远，能反映出使了多少劲。虽然拍那一帧看不出来，但通过物体运动轨迹能推断。
关键是要包含未来帧——就是 offline labeling——把整个片段的信息都喂进来，去还原中间帧的触觉数据。
03 用LaMPA架构兼顾自回归多样性与扩散高精度
ZP：LaMPA 架构是公司比较核心和原创的工作。能详细讲讲这个架构的设计思路、它解决了什么问题、以及为什么你们认为它能成为长期的技术主干？
钟元鑫：这个架构叫 LaMPA——Latent Masked Predictive Architecture。后半部分跟 Yann LeCun 提出的 JEPA（Joint Embedding Predictive Architecture）是一样的，是 JEPA 体系的延伸。但我们做的不一样的地方在 Mask。
Mask 是神经网络里面非常old-school但一直用到现在的操作——把输入数据一部分抠掉，让模型来填，就是"完形填空"。这是一个非常好的自监督方法。我们把它迁移到 JEPA 架构里，有两个关键优势：
第一，兼顾自回归的多样性和 Diffusion 的精度。 我们底层还是基于自回归架构，因为自回归的训练效率最高——每个 token 都能得到充分监督。但自回归现在的问题是它的词是一个一个蹦的。行业在语言模型这边做了很多探索——能不能一次出多个 token？这个我在华为做了很长时间，因为华为很大一块工作是推理加速。
2025年年初，谷歌发了 Gemini Diffusion——用离散扩散做预训练，能一次出50个、100个词，相比以前一次一个词，效率是量级上的提升。我当时觉得这是个大范式——因为它兼顾了 autoregressive 的多样性（容易产生多模态输出，比如换道或不换道都可以），又有 Diffusion 拟合精度高的优势（轨迹很丝滑）。而且推理也快——一次能推100个、1000个 token。
第二，在隐空间做监督。 我们用了 JEPA 在隐空间做监督的方式——把所有模态都编码到 latent space 再训练，效率非常高。
所以 LaMPA 满足了一个公司长期做 scaling 最重要的两件事——Infra 和数据。Infra 方面，模型能很好地做推理适配；数据方面，隐空间训练效率高。它能成为公司长期的主干架构。
ZP：具体的模型结构是怎样的？比如注意力机制是双向的还是因果的？
钟元鑫：我们实际上是 Block Diffusion——一块一块做解码，每块内部用双向注意力。图像内部没必要做因果注意力——像素之间没有因果关系，可以双向处理。但上一帧和下一帧之间是因果的，确保不会看到未来、能不断推理。
ZP：行业里有一派观点认为，做物理世界预测必须用强因果推理，你怎么看这种主张？
钟元鑫：我们这个范式其实是兼顾的——Block 内双向，图像建模比单向好；时序和模态上是因果的。至于所谓的"符号推理"派——就是把每个实体当成符号，建显式的因果图——理想非常美好。
我们做自动驾驶的时候最开始几个月就考虑过做这件事，但很快就否了。我们之前的经验告诉我们——做因果会死得很惨，因为训不出来。没有人走通过一个 scalable 的因果系统——甚至在非常简单的文字迷宫里面都很难实现。所以风险非常大。
后来在华为做 VLA 的时候，我们花了大半年做 CoT（思维链），相当于已经是比较显式的因果链条了。结果发现——对你要解决的那些 corner case，该解决不了的还是解决不了。它最大的用处是给用户提供情绪价值——“我知道前面有个障碍物，我要变道”——车主会很信任这个系统。但对底层轨迹级任务的提升有限，甚至不如简单做模型 ensemble 的效果好。
而且 CoT 不 scale——最痛苦的是里面的逻辑很难自动化构建。大半年搞出来大概10万条数据，放到端到端模型里——动辄1亿帧里混10万帧 CoT，根本混不进去。后来我们做了 CoT 生产自动化——用规则引擎提取逻辑，一天能产几百万条，效果才好了很多。但本质上，因果提取成本高，又不能解决之前解决不了的问题。
ZP：如果显式因果走不通，那在可解释性上你们打算怎么解决？用户和客户对"机器人在想什么"的需求是真实存在的。
钟元鑫：靠世界模型本身的能力——推演未来。我们是 WAM（World-Action Model）范式，做 action-conditioned 的未来预测。做得足够准之后，能基于预测出来的图像去做评价——给用户做可解释性可以，做仿真评测也可以。
当然这可能不够，人总希望 AI 能把逻辑讲出来。这暂时没有一个 scalable 的范式能支撑。可能要等以后——比如操作员边说话边操作"我为什么这么做"——已经有团队在做了。核心还是需要配对数据，短期内单条数据成本很高。
ZP：LaMPA 目前验证到了什么程度？效率、精度方面有没有具体的数据可以分享？另外这个架构有没有明显的 trade-off？
钟元鑫：验得比较明白的是——效率确实很高。推理上比纯自回归快大概10倍。训练效率也不低——我们先把多模态信息转换到隐空间再训练，这是 JEPA 的优势，所有模态都编码进去，效率很高。现在 MFU（Model FLOPs Utilization）能到60%以上，在大模型里面算很高的。
Trade-off 方面，训练难度比纯自回归高一点。因为它本质是个去噪过程——你需要让模型知道，输入的任意位置都有可能被抠掉。比如50个 token 随机抠30个，要能把任意30个都补全。这比直接做 next token prediction 要难，所以收敛会慢一些，比较吃训练经验和数据适配度。
ZP：LaMPA 作为基座架构，后面会衍生出哪些方向的下游应用？
钟元鑫：不同下游任务对应同一个基座模型。下游可能有好几个任务：做 policy——真正交付的操作模型；做 reward model；做推理模型、做评价器（critic）、做仿真——生成足够逼真的图像后可以做仿真和评测。甚至可以把它作为独立产品包装出去给别的公司用。
04 聚焦世界模型流派与Scaling 节奏
ZP：市场上有大量团队在做世界模型，但仔细看会发现各家解决的问题并不相同。在您的框架里，这些路线之间的区别和上限分别是什么？
钟元鑫：对，使用领域会不一样。大体上可以分三派。
第一派关注世界模型的视频生成能力——做得足够保真，比如单视角多视角一致性。用途很广，不止自动驾驶，也包括娱乐、计算机插帧补帧。很多从 CV 领域转过来的人会选这条路线，擅长训一个看起来很逼真的世界模型。
第二派是从世界模型最初的源头来的——最早提世界模型的其实是做 RL（强化学习）的领域。RL 需要一个能预测当前状态、基于当前状态加动作预测未来变化的模型，才能做 model-based RL。这一派真的需要估计未来的真实状态，给 RL 提供监督和闭环反馈。可能涉及训 value function 来判断状态好坏——关注的是状态和行为的好坏，不关注像素。
第三派是融合——既想兼顾像素做得好，又想兼顾状态表征做得好。同时对世界模型还有个预期——它能做辅助监督，预测未来本身就是一个很好的策略模型监督方式。
ZP：如果把时间线拉长来看，这三个流派最终会各自分化走不同方向，还是会收敛成一个大一统的模型？
钟元鑫：大家判断都是会收到一起。会有个基础模型，它可能每方面不能做到100%，但能提供每个方面的80%——像素生成80分，状态预测80分，辅助监督80分。
这个我在离开华为之前，华为已经在下重注了。里面成立了"空间智能"的专门工作组，成立了一年左右。他们认为这是做 Foundation Model 的下一代方向——AI、ML、VR 的下一代就是空间智能。最后这些跟真实世界关联紧密的模型，都会有一个基座模型，再基于下游任务微调。只是这个范式跟 VLM 和 LLM 不一样——是一个原生处理高维现实世界信息的模型。
ZP：如果最终确实会出现一个统一的世界基础模型，什么样的公司最有可能率先做出来？
钟元鑫：坦白讲，两个条件。第一是模型 Infra 基建足够强的公司——包括卡最多的公司，像 Meta 手里有那么多卡，想训世界模型肯定能训；也包括做过大模型、有训练经验积累的团队。第二是能真正打穿一个场景、形成数据闭环的公司。 尤其是跟物理世界相关的——训数字 AI 数据可以从互联网海量爬，但真实世界的数据采集成本高、不容易规模化。真正打通数据闭环的公司能活到最后。所以关键是两个：模型 Infra 和数据闭环。
ZP：日冕后续有哪些比较重要的工作规划？
钟元鑫：分两块——表征和基座模型。
基座模型预计发布1到2版，能在各个 benchmark 上有指标。
表征这边有几个：第一是做手触一体的表征——手的动作和触觉放在同一个表征里，因为操作时触觉跟姿态高度相关，触觉数据不能太独立。第二是做仿真的全掌触觉数据——现在全掌触觉数据太少，算法端也需要一个测试全掌触觉模型能力的基准。
包括后面自己的资产建设，都是针对灵巧手的。主要原因是这块没有稳定供应商——我们本来想找供应商，觉得行业做了这么多年总该有吧——发现没有，只能自己做。
ZP：关于 Scale 的节奏，公司内部有没有一些关键的阶段性目标或观测指标？
钟元鑫：肯定有阶段性节点。
算力方面——现在是百卡级别，年底会扩到千卡。我们基座模型尺度比较小——4B 到10B以下——千卡已经非常够用，能快速迭代。
数据方面——现在大概清洗后10万小时，往后想扩到大几百万小时，但是高质量、经过清洗的。
再往后是模型尺度的 scale——这跟端侧和云侧算力耦合，到底要不要做再看。然后是下游任务的 scale——更多是场景数据丰富度提上来、噪声降下来。
ZP：在训练过程中，先验知识（比如语言模型蒸馏来的常识）和实际环境数据之间如果产生冲突，你们怎么处理？
钟元鑫：需要在数据管理里做清洗——但我们的"清洗"其实是区分。错误数据进一个池子，正确数据进另一个池子。训 policy 用正确数据，但训 reward model 和 value function 要用错误数据一块训——让它学会区分好坏。是切开用，不是扔掉。
ZP：最后一个问题，如果这些技术路线都走通了，规模化验证完成之后，日冕能给行业带来什么样的变化？
钟元鑫：最直接的业务价值是——基座模型能力强了之后，后训练速度大幅提升、成本大幅下降。现在后训练用 RL 很吃人力——要做真机、有机器和场地成本。但基座模型够强的话，下游迁移优势就很大。
最理想的情况——像大语言模型一样直接能用。对具身智能来说这有点过于理想，场景太多，多少需要微调。但微调要尽可能时间短——几小时调好。商业价值就是：进一个新工位、新任务，半天之内出可用方案。
第二个目标——基座模型要跟行业共建。把模型能力开放出去，大家基于它构建不同商业落地——一方面赋能更多人产生价值，另一方面也有更多数据回流到我们系统。
请注意，此次访谈内容已经过精心编辑，并得到了钟元鑫的认可，仅代表受访人观点。我们也欢迎读者通过留言互动，分享您对本访谈的看法。
Z Potentials 将继续提供更多关于人工智能、全球化市场、机器人技术等领域的科研探索者访谈。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。
