你有没有遇到过这种情况：朋友跟你描述一个地方怎么走,说得特别详细,结果你到了现场还是找不到北。但要是朋友直接甩给你一张照片,你一眼就看明白了。
反过来也有可能。有时候文字说明比照片更管用，比如朋友告诉你"进门右转第三个柜台"，这比一张模糊的远景照片靠谱多了。
这其实就是今天要聊的这篇论文想解决的问题。只不过它面对的不是人,而是正在操作手机屏幕的AI智能体。
**核心问题：AI替你点手机的时候，靠什么"记住"怎么做**
先说说背景。
现在的视觉语言模型（简称VLM：一种既能看懂图片又能理解文字的AI模型，可以把屏幕截图和文字指令放在一起处理）已经能直接看懂手机屏幕截图，理解你的指令，然后像人一样点来点去完成任务了。这种能操作手机或电脑界面的AI，业内叫它GUI智能体（GUI是图形用户界面的缩写，就是你平时看到的那些按钮、图标、菜单组成的操作界面）。
但GUI智能体干活经常出岔子。为什么？因为这类任务往往要走很多步才能完成，比如订一张机票要点好几十次屏幕，任何一步出错，后面全跟着错，这叫错误传播。
为了让智能体少犯错，研究者们想了个办法：给它装个"记忆库"，把过去成功完成任务的经历存起来，下次遇到类似情况就翻出来参考。这个思路挺自然，就像老员工带新人，把过去踩过的坑整理成笔记，新人照着做就少走弯路。
问题出在"这份笔记该怎么写"上。
现有的系统基本上都是一条路走到黑：要么把过去的经历全写成文字描述，要么直接甩一张过去的截图，选定了就不再变。论文里给了个特别直观的例子（见原文图1）：同样一份被检索出来的记忆，用文字呈现时智能体操作成功了，换成图片呈现时却失败了。这说明什么？说明记忆的"打开方式"本身就能决定成败，而不是记忆内容本身有问题。
研究团队先做了个实验来验证这个猜测有多普遍。他们在两个基准测试集（AITW和LearnGUI，都是用来评估手机GUI智能体表现的标准数据集）上统计，发现文字记忆赢的情况占48%左右，图片记忆赢的情况占52%左右,两者差距很小,谁也没有压倒性优势。更关键的是,研究者还算了一个"理论最优"：如果每一步都能精准选中那一步该用的模态,综合表现能比"死守一种模态"高出6到8个百分点。这个差距不小，相当于每十几步操作里，死守一种模态的做法就要白白损失一次本该成功的机会。
这就是整篇论文的出发点：**记忆该用文字还是图片呈现，不是一次性的固定选择，而是每走一步都要重新判断的动态决策。**
**为什么文字和图片会在不同步骤各有胜负**
这里要稍微解释一下文字记忆和图片记忆到底是什么。
> 文字记忆：把过去某一步的界面状态，转换成结构化的文字描述，比如"页面标题是登录，包含用户名输入框、密码输入框、登录按钮"，连同当时执行的动作一起交给AI参考。
>
> 图片记忆：直接把过去那一步的屏幕截图原样提供给AI，不做任何文字转换。
这两种呈现方式各有各的软肋。文字描述是对图片的一种压缩和抽象，好处是信息紧凑、重点突出，但转换过程中难免丢掉一些细节，比如按钮的具体位置、颜色深浅、相邻元素的排布关系。图片则相反，它保留了所有视觉细节，包括界面的空间布局和外观信息，但也因此更"吵"，AI需要自己从一堆像素里挑出真正有用的信息。
论文进一步分析了什么样的场景适合哪种模态，归纳出三个规律。
第一个规律和界面的复杂程度有关。研究者用"元素密度"这个指标衡量界面有多拥挤，具体算法是统计界面里的UI元素数量，除以这些元素占屏幕的面积比例。数据显示，界面元素越密集，图片记忆相对文字记忆的优势就越明显。这不难理解，一个塞满了按钮、图标、文字标签的复杂界面，用文字一条条罗列反而容易遗漏空间关系，而一张图能把这种密密麻麻的布局直接摆在眼前。
第二个规律和动作类型有关。论文把GUI操作分成两类：空间类动作（比如点击某个坐标、滑动、拖拽，这类动作依赖位置信息）和功能类动作（比如判断任务是否完成、触发某个系统功能，这类动作依赖对界面状态和功能含义的理解）。实验发现，从空间类动作切换到功能类动作时，图片记忆的优势会进一步扩大。换句话说，单纯找个地方点一下，文字描述基本够用；但要判断"这个页面到底处于什么功能状态"，图片能提供的语境信息更丰富。
第三个规律和交互进程有关。任务刚开始的初始状态，和经过几步操作后演变出来的状态相比，后者更依赖图片记忆。这是因为随着交互推进，界面会出现各种细微的视觉变化，比如弹窗、高亮、选中状态的切换，这些变化用文字很难完整捕捉，但图片能原样保留。
这三条规律凑在一起，描绘出一幅清晰的画面：**界面越复杂、任务越偏向理解功能状态、交互进行得越久，图片记忆的价值就越突出；反过来，界面简单、任务偏向精确定位、处于交互早期，文字记忆往往更可靠。**
这里可以做个类比。你去一个陌生的大型商场找卫生间，如果商场本身布局简单，只有一层楼、没几个店铺，服务员用语言告诉你"直走到底左转"完全够用，你根本不需要一张平面图。但如果这是一个五层楼、几百家店铺的综合体，服务员光靠说"先到中庭，然后找到那个有个大喷泉的地方，再往美食区方向走"，你大概率还是会迷路，这时候一张清晰的楼层导览图反而是刚需。如果商场坚持只用语言描述所有场景，不管简单还是复杂一律照搬同一套话术，结果就是在简单场景里浪费唇舌，在复杂场景里让你彻底找不到方向。这正是论文想说明的：固定一种记忆呈现方式，必然在某些场景下吃亏。
**AI的大脑深处，其实早就"知道"该用哪种模态**
发现了模态偏好随步骤变化这个现象后，研究团队又往深处挖了一层：这种偏好，AI模型内部的神经网络表示里是不是也能看出端倪？
为了验证这一点，他们借鉴了一种叫Chain-of-Embedding（简称CoE，一种通过比较模型在不同输入条件下中间层隐藏表示的差异，来分析模型内部推理过程的技术）的分析方法，并做了改造，提出了自己的版本，叫Directional Chain-of-Embedding（简称D-CoE，本质是计算同一个输入在图片记忆条件和文字记忆条件下，模型每一层隐藏状态的差值，这个差值向量就包含了模型对两种模态的"偏好信号"）。
具体做法是：对于同一个检索出来的历史步骤，分别用文字版本和图片版本喂给冻结参数的AI模型（冻结意味着这个阶段不更新模型参数，只是观察它的内部反应），记录模型在每一层的隐藏状态，然后计算两者的差值。这个差值序列贯穿模型的所有层，构成一条"方向链"。
研究者接着用这条链训练了一个简单的线性探针（一种用来检测隐藏表示里是否包含某种信息的简单分类器），看能不能从这个差值里预测出"这一步到底该用文字还是图片"。结果很有意思（见原文图4）：模型层数越深，这个预测的准确程度（用AUROC衡量，这是一个从0.5到1之间的指标，0.5代表完全随机猜，1代表完美预测）越高，在最后一层达到了0.8左右的水平。
这说明什么？说明AI模型虽然没有被专门训练去"判断该用哪种记忆"，但它在处理信息、层层推理的过程中，内部表示已经自然而然地积累了这个偏好信号，只是这个信号一直没被利用起来。
这个发现挺像一个人在做决定之前，身体其实已经有了倾向，只是大脑还没意识到或者说出口。比如你纠结中午吃什么，嘴上说"随便"，但脚已经不自觉地往常去的那家面馆方向走了。D-CoE分析做的事情，某种意义上就是去读懂AI"脚已经往哪边走"这个潜意识信号，而不是等它嘴上说出最终答案。如果不去挖掘这层隐藏信息，直接从零训练一个独立的判断模块，那就等于完全无视了模型自己已经攒下的经验，相当于重新发明轮子，效果自然会打折扣，这一点论文后面的对比实验也证实了。
**SwitchMem：给AI装一个"模态路由器"**
既然发现了这个信号，论文的核心贡献自然就是把它用起来，造一个能在每一步自动判断用文字还是图片的机制，取名叫SwitchMem。
整个系统分两步训练（见原文图5）。
第一步是构造"偏好目标"。研究者先用前面提到的D-CoE方法，从模型最后一层的隐藏状态差值里，通过PCA（一种降维技术，把高维度的数据压缩到低维度，同时尽量保留关键信息，这里是把4096维的向量压缩到64维）和逻辑回归，拟合出一个连续的偏好分数。这个分数是正是负，决定了这一步理论上更适合图片还是文字。
第二步是训练一个轻量级的路由器（router，这里指一个小型神经网络，专门负责在每一步做出"选文字还是选图片"的决策，不需要重新运行整个大模型）。这个路由器的输入是当前界面状态的表示，以及检索到的文字记忆和图片记忆各自的向量表示。它会分别给文字和图片打分，取两者差值作为路由分数，然后拿前面构造的偏好目标来监督训练，让路由分数尽量贴近真实的偏好程度。
训练完成后，推理阶段非常简单：拿到当前状态，路由器算出一个分数，超过某个阈值就选图片记忆，否则选文字记忆，最终只把这一种模态喂给冻结的AI模型去生成下一步动作。
这里有个设计细节值得说一说，就是SwitchMem从头到尾只让模型看一种记忆，而不是把文字和图片都塞给模型。论文的消融实验显示，把两种模态同时提供给模型（称为Both策略）在某些基准上效果反而不如只选一种，这其实印证了一个常见的直觉:信息不是越多越好，杂糅在一起有时候会互相干扰，增加模型处理的负担，甚至让模型注意力分散。
这就好比你让同事给你汇报项目进展，有的同事喜欢一股脑把所有文件、图表、聊天记录全甩给你，看似信息齐全，实际上你得花大量时间从中筛选重点；而一个靠谱的同事会先判断你现在最需要哪种信息，直接精准地递给你最合适的那一份。如果不做这种筛选，一律全量提供，表面上看没有信息损失，但实际的决策效率反而会下降，这正是Both策略在实验里表现平平的原因。
**实测效果：三个基准测试集全面胜出**
说了这么多设计思路，最终还是要看数据说话。
论文在三个GUI基准测试集上做了评测：AITW（谷歌发布的大规模安卓设备操作数据集）、LearnGUI（侧重评估智能体利用历史执行轨迹完成复杂导航任务的能力）、MobileMiniWoB++（一个可编程验证的在线闭环移动端任务环境）。
> 动作得分（Action score）：衡量智能体预测的下一步动作和标准答案的匹配程度，是AITW和LearnGUI常用的评价指标。
>
> 任务成功率：MobileMiniWoB++使用的指标，衡量智能体最终是否成功完成了整个任务。
核心结果列在下面：
| 方法 | AITW | LearnGUI | MobileMiniWoB |
|---|---|---|---|
| 纯文字记忆 | 48.76% | 35.64% | 53.26% |
| 纯图片记忆 | 49.30% | 37.44% | 57.61% |
| 文字+图片同时提供 | 47.08% | 26.92% | 60.87% |
| EchoTrail（检索文字轨迹） | 45.90% | 27.29% | 55.44% |
| AGMem（动作区域截图） | 45.38% | 28.37% | 52.17% |
| **SwitchMem** | **51.42%** | **38.13%** | **63.04%** |
可以看到，SwitchMem在三个测试集上全部拿到最高分，而且领先幅度不小。更值得关注的是，一些专门为GUI场景设计的复杂记忆构造方法，比如EchoTrail和AGMem，表现反而不如最朴素的纯文字或纯图片策略。这说明一个挺扎心的事实：**如果不在"什么时候用哪种模态"这个问题上做文章，单纯在记忆内容的构造工艺上下功夫，收益可能相当有限。**
论文还做了一个有意思的统计，看SwitchMem在同一条任务轨迹内部的切换行为。结果显示，它确实会在一条轨迹里交替使用文字和图片，平均切换次数在1.5到1.8次之间，而且选中某个模态后往往会连续用好几步才切换（连续长度在2.4到5次步骤之间），这说明路由器不是在瞎跳，而是真的跟着界面状态的变化在调整策略，这和前面D-CoE分析发现的"步骤级偏好"是吻合的。
为了排除"SwitchMem的优势只是因为它选图片的总比例刚好合适"这种可能性，研究者还做了一个对照实验：构造一个随机路由器，它独立地以某个固定概率选图片，这个概率设成和SwitchMem的平均选图片比例一致，然后比较两者表现。结果SwitchMem在所有测试的概率区间上都稳定超过随机路由（见原文图7b），说明它的优势确实来自"在正确的步骤选正确的模态"，而不是单纯凑出了一个合适的整体比例。
另外研究者也和几种更简单的路由训练方式做了对比，比如直接用动作效果的数值差异来训练路由器（叫Utility方法），或者只预测哪个模态更好而不预测好多少（叫Binary方法），还有完全不用模型隐藏状态、只用原始文本和图片embedding的方法（叫Basic routing）。结果SwitchMem依然是综合表现最好的那个，这进一步验证了利用D-CoE信号的必要性。
在效率方面，SwitchMem每一步只比固定使用图片记忆的方案多花0.1到0.3秒左右的时间，而某些依赖额外文档构建或指南生成的方法（比如RAG-GUI）单步延迟能到8到11秒，相比之下SwitchMem的额外开销可以说微不足道。
最后研究者还验证了这套方法能不能迁移到其他AI模型上。他们把SwitchMem的路由逻辑套用到一个专门为GUI场景微调过的模型UI-TARS-7B-SFT上，结果同样在三个测试集上超过了固定文字或固定图片的策略，证明这不是某个特定模型的专属技巧，而是一个具有一定通用性的方法。
**写在后面**
读完这篇论文，我印象最深的其实不是SwitchMem这套系统设计，而是那个D-CoE探针实验背后透露出来的东西：模型其实早就"知道"答案，只是没人去问它。
这让我想起一件挺常见的事，很多大模型应用的改进空间，不一定非要靠堆更大的模型或者更复杂的训练流程，有时候只是把模型自己已经具备、但没被显式利用的能力挖出来而已。D-CoE本质上是一个很轻巧的探测工具，它没有改变模型一分一毫，只是去读了一下模型内部"犹豫"的痕迹。
还有一个细节值得单独说一说：论文里提到图片记忆和文字记忆同时提供（Both策略）在多数情况下表现不如只提供一种，只有在MobileMiniWoB++这个相对"干净"的程序化环境里例外。这背后可能藏着一个更普遍的规律，就是对大模型来说，信息过载和信息不足可能是同样危险的两种极端，而且这个临界点因任务环境而异，这恐怕是未来做多模态上下文设计时需要更细致研究的问题。
这篇论文也留了一个没完全说清楚的地方：它依赖访问模型的隐藏状态才能工作，这意味着对于只能通过API调用、拿不到内部表示的闭源模型，这套方法目前用不上。如果以后有办法仅凭模型的输出行为（而不是内部状态）就能推断出类似的模态偏好信号，那会是一个更通用、也更有想象空间的方向。
你有没有想过，你自己在做决定之前，身体和直觉是不是也经常比嘴巴更早知道答案？
Q&A
Q1：SwitchMem是什么？
A：SwitchMem是一个为GUI智能体设计的路由框架，能在每一步交互中自动判断用文字记忆还是图片记忆更合适，而不是像以往方法那样固定使用一种模态。
Q2：为什么GUI智能体需要动态选择记忆模态，而不是固定用一种？
A：研究发现文字和图片记忆在不同交互步骤各有优势，界面越复杂、任务越偏向功能判断、交互进行得越久，图片记忆越有优势；反之文字记忆更可靠。固定一种模态会在很多步骤上损失性能，实验显示最优动态选择比最佳固定模态高出6到8个百分点。
Q3：SwitchMem相比固定使用图片或文字记忆，效果提升有多少？
A：在AITW、LearnGUI、MobileMiniWoB三个测试集上，SwitchMem分别达到51.42%、38.13%、63.04%，均超过纯文字记忆、纯图片记忆以及同时提供两种记忆的方案，是所有对比方法中表现最好的。
