当前，大模型的“记忆”大多依赖同一种机制：把信息存储在模型权重之外的数据库中，需要时检索出来，再注入上下文窗口供模型使用。这一方法在 2020 年被 Facebook 人工智能研究院（Facebook AI Research）正式命名为检索增强生成（RAG）。从联网搜索到各类智能体的记忆系统，基本沿用这一框架。
而在 RAG 概念正式形成之前，蔡登就开启了这方面的研究。2019 年，他在香港中文大学读博期间，提出用检索到的历史对话作为“记忆”，引导对话模型生成回复。
七年后的今天，他对这条路线的判断有了变化。外部检索的信息最终仍要回到有限的上下文窗口，许多难以文字化的经验无法存入数据库，复杂任务所需的知识也很难通过一次检索取全。他认为，真正的持续学习最终需要模型在使用过程中更新自身的参数。
这一判断与当下两条行业主线密切相关。其一是递归自我改进（RSI）：这一方向主张由 AI 参与设计和训练下一代 AI，近期出现了不少进展。但蔡登认为，这类工作本质上仍是部署前优化，优化的是所有部署的平均，而私有数据、隐性经验、试错中产生的新认知和快速变化的环境所催生的能力缺口，只能在部署之后弥补。
其二是个人 AI（Personal AI）：基础模型的通用能力已足以应对多数日常任务，制约应用落地的，更多是模型对具体用户、组织和工作环境缺乏了解。
蔡登先后任职于腾讯人工智能实验室（Tencent AI Lab）和字节跳动 Seed（ByteDance Seed），在字节主要负责大模型记忆机制的研究，提升模型的长上下文能力，曾以第一作者身份获得计算语言学协会年会（ACL）2021 杰出论文奖，长期担任 NeurIPS、ICML、ICLR、ACL 等国际会议的领域主席。11 月，他将入职上海交通大学人工智能学院任长聘教轨副教授，组建 ContinuousAI Lab，研究部署后能够持续学习、自主进化的 AI 系统。
近期，DeepTech 与蔡登进行了一次深度对话，聊到了他从产业界回到学界的原因、AI 记忆的终局形态，以及模型部署后自进化的技术路径。
谈及大模型的下一个增长点，他的判断是，在预训练扩展参数与数据、后训练扩展标注和反馈、推理时计算扩展思考时间之后，第四条规模化轴将是模型在真实工作中积累的交互历史与反馈，他称之为 Post-Deployment Scaling（部署后自进化）。
谈及学习方式，他认为上下文学习（In-Context Learning，ICL）是“终局的学习方式”，真正要攻克的是它的可规模化。在他看来，部署后自进化的终点，是每个人、每个组织都拥有一个伴随自己持续演进的 AI。
以下为 DeepTech 与蔡登的访谈实录，经编辑整理。
从字节到交大：看到“第四条规模化轴”
DeepTech：请简单介绍一下你此前的学术和职业经历。
蔡登：我 2022 年从香港中文大学博士毕业，第一份工作在腾讯 AI Lab。腾讯 AI Lab 更像传统的工业界实验室，以学术研究为主。后来我去了字节 Seed，参与到最前沿的模型研发中，重点关注模型的长上下文和记忆能力。
DeepTech：在字节 Seed，你参与最深的是哪方面的工作？
蔡登：一是大模型的长上下文能力，主要有两个角度，一个是性能，一个是效率。性能方面，我们更多从数据入手。天然存在长距离依赖的数据非常少，为了让模型更好地整合分散在长文本中的信息，往往需要人工合成类似的数据。
效率方面，主要是在模型架构上做改进，比如用稀疏注意力（Sparse Attention）这样的新架构降低延迟。这些属于基础模型层面的工作。二是记忆机制方面的研究，包括搭建记忆系统。做了这些之后，我最大的体会是：上下文窗口可以一直拉长，但模型并不能很好地做到真正的知识整合，而且训练和推理的效率都很低。记忆系统只能缓解问题，但解决不了持续学习。
DeepTech：从产业界回到学界，你的研究思路发生了什么改变？
蔡登：我一直在想同一个问题：怎么让模型持续学习、持续演进。读博和在腾讯 AI Lab，我主要做 RAG，可以说是最早做这个方向的人之一，2022 年还在国际计算机学会信息检索大会（SIGIR）和国际人工智能联合会议（IJCAI）上做过 RAG 的教程；到了字节，我负责长上下文和记忆机制。
回头看，RAG 是外部记忆，长上下文是短期记忆，这两条路我都在最前沿做过，也都看到了它们的天花板。剩下的只有一条：把经验写进参数，变成长期记忆。这条路我从 2024 年就开始做了，我的判断是未来的突破口在这儿。
图 | 蔡登等人在 SIGIR 2022 上主讲的检索增强文本生成教程（来源：SIGIR 2022）
可以这样理解：大模型已经有了三条规模化轴。预训练扩展的是模型参数和数据量，获得的是世界知识；后训练扩展的是标注和反馈，对齐的是人类偏好；推理时规模化（Inference-Time Scaling）扩展的是推理时消耗的 Token，提升的是推理能力。
下一条规模化轴是什么？我认为是模型在真实工作中的交互历史，以及环境和用户给出的反馈。我把它叫做 Post-Deployment Scaling，也就是部署后自进化。前三条轴的产物，是一个更强的通用模型；第四条轴的产物，是“你的”模型。这是第一条属于每一个人、每一个组织的增长曲线。
今天我看到，模型部署后自进化是一个很大的机会。在数学竞赛这样的智力比拼中，AI 已经把人类甩在身后，甚至出现了在研究领域取代人类数学家的趋势；可回到普罗大众的日常工作和生活，你让 AI 写一份调研报告，它很难很快写到让你满意。
通用模型的智力一旦越过某个门槛，继续拉高带来的边际收益会迅速衰减。处理大多数日常任务，通用模型的能力已经够用了，再聪明一点，不如更懂你一点。制约 AI 应用落地的瓶颈，正在从“不够聪明”转向“不够懂你”：不了解具体的部署环境、目标和偏好。
这意味着两件事。第一，基础模型还在不断变强，而它越强，部署后自进化的需求就越大，能带来的价值也越大。第二，换一个通用模型几乎没有成本，但你很难放弃一个在你的环境里学了几个月的 AI，所以价值会从模型本身，转移到模型部署之后学到的东西上。
DeepTech：有没有哪些事情，是你觉得必须回到学界才能做的？
蔡登：我不觉得必须回学校才能做，只是离开大厂可能有更大的自由度，探索更加激进的方案，追求 win in the long run 的方案。
前三条轴拼的是资源：参数、数据、标注、算力，只有大厂玩得起。大厂的资源和考核，都对齐在把通用模型做得更强，这是对的，但也决定了它们很难把重心放在模型部署之后的事情上。第四条轴才刚刚开始，而且起步不需要从头训练基础模型：站在最好的开源模型上，就能直接做最前沿的研究。
DeepTech：这次加入的是 2024 年新成立的上海交大人工智能学院，它吸引你的地方在哪里？
蔡登：人工智能学院的人员组成更多样，既有资深教授，也有刚博士毕业的青年学者，还有像我这样在产业界工作过的人。今天在基础模型研究上，学术界和工业界在某种程度上是割裂的，关注点不太一样，所以人员组成的多样性很重要。
另外，学校能持续带来愿意跟着我一起探索前沿课题的年轻人，大家能真正心无旁骛地长期投入到重要的研究问题中。教授的身份也让我能和校内外开展更广泛的合作。这个学院也比较年轻，不少老师选择去创业，学院对创业也有一定的支持，整体氛围比较开放。
外挂记忆的天花板
DeepTech：你早期做 RAG，现在业内也在讨论各种记忆系统。在你看来，两者是什么关系？这条路能走多远？
蔡登：现在所谓的记忆系统，本质上还是 RAG 的延伸。无论是专门做记忆的创业公司，还是 ChatGPT、Claude 这些产品内置的 memory 功能，都是把记忆存在模型之外，需要时再查询获取。信息以什么形式组织更有效、查询时用什么方式更有效，一直在演进，但核心思想没变：模型的记忆放在权重外面，需要时再注入回上下文窗口。
这种方式有很强的局限性。既然最终还是要注入上下文窗口，对于真实场景里的复杂长任务，所需的知识点、技能点会很多，注入的内容一多，就要面对长上下文的各种问题。
更根本的是，我认为这种范式存在两个固有局限。
第一是“存不了”。有些东西没办法用文字完整归纳，比如投资人的手感、盘感和判断力，研究员长期积累形成的学术品味，包括一个人的性格偏好。如果拿不到完整的原始经历，只保留一些局部片段，很难复现完整经历沉淀下来的东西。随着 AI 走向多模态、具身智能和世界模型，音视频、感觉流、动作流这类信息越来越难以用文字总结，这是绕不过去的局限。
第二是“取不到”。真实场景中的复杂任务，往往依赖分散在不同地方、彼此关联的知识点或技能点。比如完成一个任务需要 A、B、C、D 四个知识点，你不太可能第一次查询就把它们全找到：B 之所以与任务相关，是因为先看到了 A；C 之所以相关，是因为先看到了 A 和 B。信息获取的链路一定比较长、比较复杂，链路越长，效率越低，错误也越容易累积。
这也不是人脑的学习方式。人脑的容量不会随着经历增多而无限扩张，可外挂记忆只会越来越臃肿、越来越难检索。更重要的是，保存原始上下文不是学习，用文字做的总结提炼也形成不了直觉。所以外挂记忆永远到不了终点，真正的持续学习必须改写模型的权重。
记忆的三层架构：事实靠检索，能力靠内化
DeepTech：外部检索、长上下文和参数记忆，这几种记忆形态之间最终会形成分工吗？
蔡登：可以这样理解，存储在模型外部数据库里的是外部记忆，放在上下文里的是短期记忆，存储在模型参数里的知识和技能是长期记忆。所有对模型的训练，都可以看作外部记忆到短期记忆、再到长期记忆的转化。预训练也是如此：从网页数据中抽取内容，放进模型的上下文，以预测下一个 Token（Next Token Prediction）为目标做一次梯度回传，就把它写进了模型参数。
很多人会讨论记忆的分工，哪些放在外部、哪些写进参数。外部记忆怎么组织信息、做总结和抽象、做分层管理，这些确实值得做好。我的看法是：直觉、能力、经验、判断力，都应该写进参数；而像合同里的一个准确数字、别人说过的一句原话，这类精确的事实细节，放在外部检索更合适，让模型硬记既不可能，也没必要。一句话：事实靠检索，能力靠内化。
图 | 蔡登等人梳理的奖励模型、参数更新和上下文提示三者之间的六种转换（来源：arXiv）
DeepTech：现在各种记忆方案，分别发展到了哪一步？
蔡登：三种记忆处在完全不同的阶段。外部记忆已经相当成熟，剩下的更多是工程问题：怎么把信息组织得更好，需要时更快、更准地找到。短期记忆在打军备竞赛，上下文窗口从几千 Token 拉到了上百万，但就像我前面说的，窗口变长了，模型对信息的整合能力并没有跟上。
长期记忆的研究目前还比较少，特别是部署后自进化：怎么把模型在真实工作中产生的交互历史、对环境的观察、用户和环境给出的反馈写回模型内部，成为长期记忆的一部分。我认为这会是未来的研究热点，下一代 AI 竞争的主战场。
DeepTech：记忆之外还有遗忘。无论是模型主动遗忘，还是灾难性遗忘（Catastrophic Forgetting），这仍是领域关注的重点吗？新旧信息发生冲突时，又该由谁决定保留、更新还是删除？
蔡登：是的，尤其在持续学习中，模型的经验是持续流入的。新东西进来后，怎么保证旧的有用信息不被遗忘，发生冲突时怎么做深度更新，这些都是很有意思的问题。我认为让模型权重持续演化，恰恰是解决这些问题的正确方向。知识的整合发生在同一个参数空间里，可以做得更有效。关键在于用什么目标去改。
如果拿新数据直接去微调，模型是在拟合一堆外来的样本，很容易偏离原来的自己；而以模型读完上下文之后的表现为目标去内化，相当于让模型向“更懂这件事的自己”学习，起点和终点都是它自己，天然不容易把原有能力冲掉。我们在上百轮连续内化的实验里，也没有看到性能崩塌。
至于哪些内容长期保留、哪些更新或删除，我认为应该交给模型自己判断。RAG 和记忆系统的发展方向也是如此：不断释放模型的自主性，让它自己组织数据库，不需要人为规定什么东西存在哪里、怎么删。我们要做的是端到端地看结果：每一次更新都可评测、有版本、能回滚；只要模型的表现在持续优化，它的操作就是好的；如果出现性能回退，就先回滚，再让模型自己反思原因。
DeepTech：涉及隐私的场景，模型的自主更新会不会有边界？
蔡登：个性化和隐私天然是矛盾的：AI 越懂你，就越需要你的数据。最直接的做法是私有化部署，或者把能力迁移到端侧，让模型和数据都留在用户自己的环境里，这是最彻底的保护方式。换句话说，最懂你的 AI，应该只属于你。
上下文学习是终局吗？
DeepTech：你在 2025 年的一条推文中提出，“所有学习都应通过上下文学习进行，关键在于让上下文学习更有效，并能从无限长的上下文中学习”。今天你依然相信这个判断吗？
蔡登：比以前更相信。在从经验中学习这件事上，上下文学习（In-Context Learning，ICL）已经是最优解，也是终局的学习方式。
理由有四个。第一，它的样本效率非常高。写一两个例子或者一段完成任务的描述，比如把一个技能说明交给模型，就能改变它的行为；而做监督微调（SFT）或强化学习（RL），往往需要成千上万条样本。
第二，泛化能力很强。任何微调都容易过拟合。比如我们现在给模型注入一个新知识，“美国总统换人了”，如果用这句话去训练模型，它能把这个知识点记得很死，但问它一些发散性的问题，比如接下来美国对华政策会有什么变化，它就可能出错。而你如果把这句话放进上下文，什么都不用做，它就能基于这条信息做很好的推理。
第三，它不挑信号。用户每一次提示、每一次修正，只要是信号，上下文学习都能利用起来。SFT 和 RL 则挑剔得多：SFT 要标准答案，RL 要最终的对错判断。我们看到很多人做模型自进化，都是在一些反馈链条比较短、反馈信号比较明确的领域做，比如用 AI 做 AI 研究（AI for AI）、AI for Science 里的一些子问题，在这种领域里发展起来的技术，我认为可能没有很强的可迁移性，并不适用于一般场景。
第四，它还有一个很好的性质：以模型能力为杠杆。面对同样的上下文，模型能从中学到多少，是由它本身的能力决定的。更强的模型成长得更多；只要学到的东西能留存下来，之后的学习能力也会随之变强，这是一个复利结构。
DeepTech：那它的瓶颈在哪里？
蔡登：目前唯一的问题是没办法规模化。上下文一长，模型就抓不住重点，散落各处的信息也整合不起来，收益迅速衰减；推理的显存和算力开销还会越来越大。我们真正要攻克的，是上下文学习的可规模化。
DeepTech：怎么让上下文学习可规模化？
蔡登：思路很简单：长的做不好，短的做得好，而且在短上下文上，很难找到比上下文学习更好的方式。那就把长的拆成短的，一段一段地把上下文带来的效果内化到模型权重里，然后丢掉这段上下文，释放上下文窗口去承接新的内容。每次上下文清零、从头开始，上下文学习就能无限地持续下去。所以我说上下文学习是终局，并不是说所有东西都要留在上下文里：上下文学习决定学什么、学成什么样，参数负责把学到的东西留下来。
人脑其实早就是这么做的。白天的经历，海马体只做一个快速但易失的记录，就像上下文；真正的成长发生在睡眠里：大脑把白天的经历成批回放，在回放、反思、重组、想象中改写神经连接，短期经历才变成长期能力。今天的 AI 最缺的，就是一次“睡眠”。
这条路线我们已经做了几轮验证。2024 年初的 Temp-LoRA 是最早把上下文内化进参数的工作之一；去年的 InfiniteICL（ACL 2025）里，把 90% 的上下文转进参数、只保留 10%，平均效果达到全上下文的 103%，多跳推理更是达到 117%。内化能把散落的信息融会贯通，推理效果比把全文摆在眼前还好。在最长 200 万 Token 的场景里，只用原始上下文的 0.4%，效果就超过了 128K 全上下文的基线——而且上下文越长，优势越明显。
图 | InfiniteICL（ACL 2025）：上下文窗口在每次转换后刷新，允许以流方式输入无限上下文。（来源：arXiv）
DeepTech：要把这条路走通，关键在哪里？
蔡登：分两面。一面是把短上下文学习做得足够好。“短”的定义本身也在变，过去 128K Token 的上下文不算短，现在已经算短了。基础模型要做的，是不断把“短”的范围拉长，并让它更有效。
另一面是把上下文到权重的转换做得足够好，也就是真正有效地把一段短上下文内化到模型参数里。这里的“好”有个关键：目标不是让模型记住这段上下文，而是让模型变成“读过这段上下文之后的自己”。同一份商业计划书，不同的投资人读出来的东西不一样，要内化的是读完之后的成长。
这也是我们的路线和很多新架构的根本区别。线性注意力、状态空间模型这类架构方案，是把上下文压进一个固定大小的状态里，但目标和结果只是提升效率，在性能上能做到不掉点就不错了。怎么突破长上下文的性能天花板，我觉得关键不在架构，我们需要新的训练范式。我相信的新范式，是以上下文学习的效果为标尺，把能力内化进参数。
DeepTech：每次内化都要训练一次，成本会不会太高？
蔡登：训练的成本常常被高估了。训练和读入上下文一样，所有 Token 并行计算，算力利用率很高，看一下 API 定价就知道，输入 Token 的价格往往远低于输出 Token 的价格。而且，训练上多花的，推理上能省回来：内化之后，推理时不必再带着很长的上下文。另外，模型服务本来就有波峰波谷，训练可以放在波谷，用闲置的算力来做。我们的研究也在不断提升内化的效率。
还有一点不要忘了，机器学习的“苦涩的教训”（The Bitter Lesson）告诉我们：能把更多算力转化为更好效果的方法最终会胜出。我的观点是我们应该去探索上限更高的方案，同时把成本降下来。
答案不是更强的通用模型，是持续学习
DeepTech：除了更懂用户，还有哪些东西是模型只有在部署之后才能学到的？
蔡登：不只是个人 AI。AI 要做的任务正在变长：从几分钟的问答，到人拆好任务、AI 执行几个小时，再到人只给一个目标、AI 连续工作几天甚至几周；再往后，AI 会常驻在你的系统里，自己提出该做什么。任务越长、越自主，就越依赖只存在于这个部署里的上下文。我认为这类上下文有四个性质。
第一是私有性。企业内部的文档、会议纪要、工作流程不存在于公开语料中，很难在部署前做针对性优化。
第二是不可言传性。投资人看过大量项目后形成的直觉，研究员对研究问题的判断力和品味，这些东西写不下来，也无法完整交给模型，只能在长期实践中积累。
第三是动态性。市场营销面对的是不断变化的市场：风口在变，竞品每周都有新动作，昨天有效的策略，今天可能就失效了，只能边做边学。
第四是原生性。在科研这类高价值的复杂场景里，模型很难一次找到正确的路，必须反复试错、反复做实验，而实验结果在实验之前无法预知，这类认知只能通过实践获取。
这些上下文，既无法预先准备，也无法从外部获取，只能在部署之后产生，也只能在部署之后被吸收。通用智力决定 AI 能否开始工作，持续学习决定它能否完成工作。
DeepTech：部署后的持续学习讨论了很多年，实际进展却比较有限，阻碍在哪里？
蔡登：一方面，之前的研究热点在于做更好的通用模型。AI 的大趋势是越来越通用。大模型出现之前，命名实体识别、情感分析这些自然语言处理任务各有各的专属模型；大模型证明了：让一个通用模型去解决所有任务其实更好，不同任务的知识还能互通、互相促进。
但钟摆一定会摆回来：未来每个人、每个组织都会拥有属于自己的 AI，随着使用持续学习、不断演进，又变成一个专属模型。区别在于，过去的专属模型专属于某一类任务，现在的专属模型专属于某一个具体的部署。过去，每个专属模型背后是一套专门设计的算法；未来，千千万万个专属模型，都由同一套算法产生。
另一方面，就像我前面提到的，之前与自进化相关的研究，大多在有明确反馈信号的领域进行，比如数学和科学问题，做没做对很清楚，在某个评测基准上表现如何也很清楚。在这些领域做智能体强化学习，提升的是模型的推理能力，本质上仍是对通用能力的优化，又回到了部署前的优化。
但真实场景里的反馈没有那么明确。AI 帮你写一份调研报告，有些地方没调研清楚，你会提示它再去读哪篇论文、看哪个网站；实在不满意，你会直接动手改其中一些片段。用户不会给整份报告打一个分。RL 需要一个明确的对错，可真实世界的工作，绝大多数时候没有这个对错。谁能从这种弱信号里持续学习，谁就拿到了部署后自进化的钥匙。
DeepTech：既然反馈信号这么弱，怎么判断一个持续学习的系统真的变好了，而不是用局部提升覆盖了原有能力？
蔡登：现在确实没有好的评测基准（benchmark）。评测一个持续学习的系统，要看曲线：随着部署时间和经验的积累，专属任务上的表现是不是持续上升，通用能力是不是保持不变；而且评测本身也要从真实部署里来。前三条规模化轴都有自己的规模化定律（scaling law），第四条轴也需要一条：横轴不再是参数和算力，而是经验。这是我们接下来一定要做出来的东西。
DeepTech：现在业界很热的 RSI，以及用 AI 推动 AI 研究（AI for AI），和你所说的部署后自进化是什么关系？
蔡登：RSI、AI for AI 这些概念并不新。前沿基础模型团队早就在用 AI 写代码、做实验、合成训练数据、做评测、分析实验结果。这件事大厂一直在做，也会不断推进下去，自动化的程度只会越来越深。这不是一个新赛道。
对于持续学习，大家的理解也不一样。有人觉得只要模型迭代得够快，就是某种意义上的持续学习；现在很多人谈的 RSI，是让 AI 自己设计 AI，提出新的模型架构和训练算法。我认为这些和部署后自进化有很大区别，它们还是属于部署前的优化，优化的是所有部署的平均，得到的是更强的通用模型。而部署后自进化的价值恰恰在每一个具体的部署里：每个人、每个机构都不一样，而且处于变化之中；很多经验只能在工作中获得，很多数据也不能离开他们自己的环境。所以一个更强大的通用模型不是答案。
在我看来，部署后自进化是比 RSI、AI for AI 更大、也更本质的问题。换个角度看，AI for AI 本身也只是一个具体的部署，这个部署的目标是做 AI 研发。真正的问题是，AI 做 AI 研发，凭什么能做得更好？可以对照人类研究者来想。优秀研究者和普通研究者的差距，一定不在于实验设备更好，或者记录分析实验结果的工具更好，决定性的区别在于直觉和判断力，也就是品味（taste）。
所以 AI for AI 真正重要的，是培养 AI 的品味和判断力，而这又回到了如何从真实的工作交互中学习：怎么从对环境的观察、用户和环境的反馈中提炼有效的训练信号，持续调整模型的权重。所以说部署后自进化才是本质问题。
“属于每个人的贾维斯”
DeepTech：持续学习领域还有一个概念叫终身学习（Lifelong Learning）。ContinuousAI Lab 的终极目标是终身学习吗？
蔡登：未来一定需要终身学习，这就是我们的目标。但我理解的终身学习，和过去几十年的研究不太一样。过去研究的是让一个模型依次学会几个任务，同时别忘了前面的；我们要的是让模型在真实部署里，像人一样一边工作、一边成长，学到的东西来自它自己的经历。我的实验室叫 ContinuousAI，就是希望让 AI 连续不断地进化，我们所有的工作最终都指向这件事。我认为未来，每个人都会有一个属于自己的“贾维斯”，伴随你一路成长。
DeepTech：进入 AI 时代后，你招学生最看重的能力是什么？
蔡登：AI 的发展让研究者的一部分能力变得没那么重要，另一部分变得越来越重要。比如编程能力未来可能没那么重要了，因为大家都在用 Claude Code 这类编程智能体。沟通能力则会越来越重要，既包括和人沟通，也包括和 AI 沟通。对学生来说，我最看重的特质是有野心、敢折腾、愿意折腾。
DeepTech：对硕博学生来说，去产业界高密度实习有必要吗？
蔡登：有必要。特别是在基础模型这件事上，学术圈和工业界非常割裂。学生需要接触真正的前沿，先知道前沿是什么样的、大家的关注点和瓶颈在哪里，才能做更前沿的研究。
DeepTech：你现在做的研究有很大的产业化空间，未来会考虑创业吗？
蔡登：部署后自进化是一个巨大的机会，是通用人工智能（AGI）的主线任务，前景非常广阔。企业侧每个岗位的需求不一样，个人侧每个人的性格偏好不一样，都有很大的应用价值。但我最关心的是先把方法做对：什么才是正确的内化，怎么从真实、含噪的经验里稳定地学，怎么在持续学习的同时不损伤通用能力。而这些问题，只有在真实部署里才能找到答案，一定不是关起门来能做完的。
参考内容：
https://arxiv.org/abs/2504.01707
https://arxiv.org/abs/2406.16377
https://arxiv.org/abs/2401.11504
https://jcyk.github.io/RetGenTutorial/
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成
