AI应用瓶颈在信任而非智能

深水研究

DeepWater Research

文丨陈白

周末在让Codex读取我电脑本地文档中尚未出版的书稿时，突然意识到一件事：我把数据上传之后，ChatGPT能保证我的数据安全吗？

在一系列交互之后，Codex告诉我，我可以在设置中的数据控制栏里关闭“为所有人改进模型”，让新的对话和Codex任务不再被用于训练。

但当我真的去研究这些设置时，发现这已经不只是一个笼统的“隐私问题”。我的书稿会不会被用于训练，会保存多久，在哪里处理，谁拥有访问和调用它的权限，删除之后又意味着什么，这些问题，我都找不到一个明确的答案。

当然，我并不是第一个关注AI大模型隐私的人。上周钛媒体发布了一篇与知名创业者、投资人陈大年的深度对话。近2万字的访谈里，有一句判断让我印象很深：互联网时代，平台拿到的更多是关于人的“标签”，而AI时代，拿到的正在变成构成真实生活的“事实”。

过去，互联网平台通过点击、搜索、消费和位置数据慢慢拼出一个人的画像。

Agent时代则不一样。当AI开始读取邮件、日历、合同、财务数据、私人文档和企业知识库，并且代表用户调用软件、执行任务、修改文件甚至作出判断，它接触的数据已经从描述一个人，走向构成一个人的生活。“事实比标签可怕”，陈大年这样形容。对于企业来说也是如此，过去被锁在内网、代码库和组织流程里的核心知识，开始进入AI可以理解、调用和行动的范围。

所以，今天再谈隐私，问题已经不只是“平台收集了多少数据”，而是：为了把事情做完，我们准备让AI进入多深的数据层，又准备给它多大的权限？

9月18日，智谱AI旗下编程工具ZCode被用户质疑存在“静默上传”代码库数据的情况。开发者发现，相关功能可能将包括Git历史在内的仓库数据上传到云端，而用户此前并未充分意识到这一过程。

智谱随后回应称，问题来自“代码库索引”功能，Repo Wiki生成过程中可能触发数据上传，上线初期该功能默认开启；相关数据在云端生成页面后会被销毁，公司同时宣布修复问题、开源代码库并引入第三方审查。

智谱的问题暂时解决了，但Agent背后的隐私问题却没有。因为代码助手要真正好用，本来就需要阅读项目文件、版本历史和上下文；Agent要提高效率，也必然需要更多权限。问题由此从平台收集了什么信息，变成AI为了完成任务，可以看到什么、调用什么，又可以把这些数据带到哪里？

最近一些企业已经开始自己划线。9月14日，路透社援引The Information报道称，Palantir要求Anthropic针对部分业务提供不可撤销的零数据保留承诺，英伟达把Anthropic模型限制在敏感程度较低的任务中，Booz Allen Hamilton则禁止员工在涉及专有网络安全工作的场景中使用Anthropic商业模型。

几家公司的做法不同，但态度很明确：不是所有数据，都应该交给同一种AI。有些任务可以调用外部商业模型，有些需要Zero Data Retention，有些敏感工作则必须留在企业自己控制的环境里。

企业选择AI时，考虑的也不再只是哪个模型更聪明，还包括哪些数据可以给它？哪些系统可以让它接入？哪些操作必须经过人工审批？出了问题之后，能不能追溯？

微软最近的转向更能说明这种变化正在发生。其9月发布的Responsible AI报告指出，今天的AI已经可以拥有记忆、调用工具、访问数据并代表用户行动，治理重点因此开始延伸到Agent身份、工具权限和行动监控。

模型当然还会继续变聪明，但接下来真正决定AI能走多深的，是个人和企业愿意开放多少数据，以及开放以后是否依然拥有控制权。而隐私因此也正在从一个合规条款，变成AI能否进入真实工作和生活的基础设施问题。

也正因为如此，本地AI、本地Agent和混合部署正在从一个相对小众的技术路线，变成越来越清晰的产业趋势。

最近几个月，Perplexity推出Portable Computer，让多步骤Agent可以直接运行在本地设备，并在用户授权后才把更复杂的任务升级到云端；Meta开源了面向本地Agent工作流的Muse Glimmer，强调在单张消费级GPU或Mac、PC上运行；联想则持续推进Hybrid AI，希望企业可以在设备、工作站、数据中心和云之间，根据数据位置、成本、安全和治理要求安排AI负载。联想董事长兼CEO杨元庆更是反复强调“混合式AI”，核心也是让公共智能与个人、企业掌控的私域智能互补。

国内的一些创业公司也瞄准这一方向，比如上海的StartLux近期推出27B级本地模型，并在中国信通院MCP专项测试中排名第二，打赢了DeepSeek-V4-Flash 。

为什么大家最近开始往这里靠拢，一个原因是硬件条件变了。

过去，复杂推理和工具调用几乎天然依赖云端算力，个人电脑很难承担持续推理。但现在，30B左右模型已经进入消费级工作站和高端PC，NVIDIA也在推动RTX Spark、DGX Spark等设备支持本地Agent。“本地跑不动”的门槛正在被模型压缩、推理优化和硬件升级一起往下推。

它解决的当然不只是隐私。

数据在哪里处理、模型由谁控制、Agent能够访问哪些文件、哪些工具可以调用、日志留下多久，这些都可以被纳入企业自己的权限体系。

成本也会发生变化。

高频任务如果一直调用远端模型，会不断产生新增推理费用；一部分工作转移到企业已经拥有的设备和基础设施以后，成本结构也可能变得更稳定。

还有主动性。

一个长期运行的Agent，需要不断读取上下文、调用工具、检查结果。如果每一次动作都依赖远端请求，本地运行在延迟、持续性和权限控制上都会有自己的优势。

当然，这并不是说本地模型就可以完全取代云端模型的价值。最强的前沿模型和复杂推理仍然云端，所以更现实的方向，并不是云端本地二选一。企业未来可以选择这样分配AI：敏感数据留在本地，复杂推理进入云端。本地化真正改变的，不只是数据有没有上传。更重要的是，谁来决定数据在哪里处理，AI能进入什么地方，以及什么时候可以把任务送出去。

顺着这个问题继续往前，我们最终会遇到关于AI的目的到底是什么的讨论。

不夸张的说，过去几年，从硅谷到中国科技行业，几乎所有领先模型公司都在谈AGI，但问题是，AGI到底是什么？至今没有完全统一的定义。

比较普遍的理解是AI能够跨越大量不同任务进行学习、推理和行动，在广泛的具有经济价值的工作中达到甚至超过人类水平。但无论采用哪一种定义，有一点已经越来越清楚：AI如果想从一个通用工具变成真正具有持续行动能力的智能体，就需要越来越深入的理解具体的人和组织。

一个真正好用的个人AI，需要记得我过去写过什么、最近在研究什么、和哪些人保持联系，也需要理解我的日程、工作习惯甚至表达方式。企业AI同样需要知道公司的产品、客户、内部流程、历史经验，以及那些没有写进任何公开数据库的组织知识。

这意味着，未来人类交给AI的已经不只是数据，还有很大一部分代理权。所以，隐私在AGI时代的重要性只会越来越高。能不能做成可信赖的AI这一点，也逐渐成为了AI圈的共识预期。

OpenAI 创始人山姆·奥特曼在此前一次播客中曾指出，AI很可能成为一个人一生中最私密、最敏感的信息入口之一，因为人们正把越来越多私人问题交给AI理解处理，他甚至主张AI对话应当获得接近医生、律师交流的隐私保护。

Meta创始人马克·扎克伯格一方面在“个人超级智能”的愿景中更进一步：最有用的超级智能应该深入了解我们、理解我们的目标，未来的终端甚至会通过看见我们所见、听见我们所听来理解现实情境；但与此同时，Meta又提出建设一种连公司自身都无法查看或授权访问用户信息的完全私密模式。

英伟达CEO黄仁勋则把个人AI、持续运行的Agent和本地计算联系在一起，强调Agent应当能够在个人电脑上以沙箱方式持续运行，并在本地与云端模型之间协同。

前面提到的微软的Responsible AI原则中，更是把隐私与安全、可靠性与安全、公平等列为AI系统设计的重要原则，并明确提出AI系统应当尊重隐私。类似原则如今已经越来越普遍地出现在大型科技公司的AI治理框架中。

这些做法看起来很分散，其实都在回答一个越来越现实的问题：AI能力越来越强之后，人还能不能始终握着最后的控制权。

所以陈大年说，“AI的下一个瓶颈不是智商，是信任”。

更直接点说，就是未来真正安全的大模型，要让人还保有随时拔插头的选择。

过去三年的AI产业竞争，很大程度上是一场关于智能水平的军备竞赛。但当整个行业都在讨论AGI什么时候到来时，我反而越来越觉得，决定AI最终能够走多远的，可能并不只有智能本身。

模型当然会越来越聪明，算力也大概率会越来越便宜，Token价格必然会继续下降。但是当AI真正走进每个人的电脑、家庭和公司，信任会成为一种更加稀缺的能力。

所以，当整个行业还在追问AGI什么时候到来的时候，另一个问题已经先一步摆在眼前：当AI越来越了解我们，也越来越有能力替我们行动，我们还能不能始终保有对数据和权限的最后决定权？

这可能比“下一个模型还能聪明多少”，更早决定AI到底能走多远。