Token导航 LogoToken导航

AI 资讯 · AIGC从0到1

企业自托管模型:从购买智能转向控制智能

更新 2026-11-17AIGC从0到1正文 5174字阅读约 17分钟1 张图片

2026.10,Revolut 最近讲了一个很容易让企业 AI 团队心动的故事。

约 2,000 名工程师,约 56 块 B200 GPU,以 GLM 为默认编码模型;公开口径里,混合推理成本约为每百万 Token 0.30 美元,大约是此前 Anthropic/OpenAI 账单的十分之一。更关键的是,调用成本降下来以后,工程师不再只把 AI 用在最难的代码段,而开始把它用到查资料、读文档、处理工单、做核查这些“代码周边”的工作里。

开放模型加自托管,正在替企业省下 90% 的 AI 成本。

但Revolut 并不只是“换了一个便宜模型”。它没有简单把 API 换成 GPU,而是同时改变了推理方式、缓存策略、上下文长度、模型路由、工程工作流和 Agent 的使用边界。

它真正提示我们的是另一件事:

当模型越来越便宜,企业要重新决定的,不是从哪里买 Token,而是自己究竟该拥有哪一层智能。


1. 企业以为在讨论模型,其实在讨论六种控制权

我们常常把很多不同的东西混在一起。

企业可能想要的是更低的推理成本,也可能是更强的数据控制、更少的供应商依赖、更稳定的响应时间,或者只是希望员工不必因为 Token 预算而缩手缩脚。

这些目标,对应的不是同一种“自托管”。

企业真正控制的对象
典型方式
模型能力
调用闭源前沿 API、使用开放权重模型、后训练专属模型
推理服务
第三方 API、专属实例、企业自建推理集群
硬件资源
云厂商共享资源、预留 GPU、租 GPU、自购 GPU
业务数据
区域数据驻留、零数据留存、专属云、本地运行
工作流与决策
任务分类、模型路由、权限、预算、验证器、人工审批
组织反馈
失败样本、评估集、审计记录、业务指标与持续迭代

因此,闭源 API、托管开放模型、专属推理实例、租 GPU 自部署、买 GPU 自运营,并不处于一条简单的“自主程度”直线上。

它们分别交换的是成本弹性、能力上限、控制权、运维负担和退出选择权。

这里有两个常见误解。

第一,开放权重不等于一切开放。权重许可证、代码许可证、商业再分发条款和供应链来源,可能各不相同。企业能下载模型,并不自动意味着可以在所有场景里无限制经营它。

第二,本地运行不等于完全安全。即使模型在企业机房,Agent 仍可能调用网页、邮件、MCP、第三方知识库和外部 API;数据是否出境,取决于完整数据流,而不是服务器是否摆在楼里。

反过来,商业 API 也不必然意味着数据无限留存或无法满足合规要求。区域驻留、零数据留存和专属协议,往往需要逐接口、逐地区、逐合同核验,而不是靠“本地/云端”二分法判断。

所以,企业真正面对的不是“买智能还是拥有智能”。

而是:哪些控制权必须拿在自己手里,哪些可以继续外包。


2. 每百万 Token 的价格,是最容易误导人的数字

企业一旦开始讨论模型采购,最常见的比较方式是:

谁每百万 Token 更便宜?

这个数字当然重要,但它最多只能回答预算表上的一个问题。

它不能回答:这个模型最终有没有把任务做好。

更完整的成本,至少有五层。

成本层
真正该算什么
模型调用成本
输入、输出、缓存、工具调用、推理 Token
推理容量成本
GPU 租金或折旧、网络、电力、冗余、峰值预留
运行系统成本
MLOps、监控、安全、模型升级、故障恢复
成功任务成本
重试、升级、验证、人工审核、返工、等待
组织战略成本
厂商锁定、迁移难度、合规限制、基础设施注意力

最后真正接近业务价值的,是:

每个成功任务总成本
=
模型推理 + 重试 + 验证 + 工具 + 人工介入
+ 容量分摊 + 可归因事故成本
──────────────────────────────
         合格且通过验证的任务数

这个公式会把许多看起来便宜的方案翻转过来。

假设一个弱模型每次只花 2 美分,但合格率只有 75%;再加上验证、升级到强模型、人工修正,它不一定比一次 20 美分的前沿模型更划算。

反过来,如果任务高度标准化、结果能被自动验证、失败能被快速回退,那么低价开放模型的优势会被放大。

所以,最重要的单位是:每一个被真正验收的任务,到底花了多少钱。

这也是 Agent 时代成本结构最根本的变化。

过去,企业买软件,常按人头、按席位、按部门预算。

现在,一个员工可能同时跑多个 Agent;一个 Agent 可能不断重放上下文、调用工具、启动子任务、失败后重试,再把结果交给另一个模型复核。

Menlo 的 2026 年企业 AI 报告估计,在 OpenRouter 这个偏开发者与创业者的平台上,Agent 已经贡献了约 80% 的 Token 使用量。这个比例不能代表全部企业,但它指向同一趋势:AI 支出正在越来越像“按工作量消耗的生产变量”,而不是“按员工购买的软件席位”。

3. Revolut 的 90%,不等于“买 GPU”的 90%

重新看 Revolut,会发现最有价值的不是 56 块 B200,也不是 0.30 美元这个价格。

而是它做了三件更难的事。

第一,它没有让所有任务都去找同一个模型。

开放模型承担默认编码负载,前沿模型仍然保留给例外任务;文本编码模型不擅长视觉时,再把视觉任务转给其他模型。

第二,它没有把 GPU 当成静态资产。

同样数量的 GPU,经过推理服务调优后,请求吞吐提升、首 Token 延迟下降。Revolut 在演讲里反复强调:先把现有 GPU 调好,再考虑增加 GPU。上下文窗口、KV Cache、FP4 量化、张量并行度、前缀缓存、Prefill 与 Decode 的资源分配,都决定了“卡在机房里”和“真正服务业务”之间的差距。

第三,它降低的未必只是单位 Token 成本。

当 Token 不再昂贵,工程师开始把 AI 用到过去“不值得用”的环节。AI 不只写代码,还开始参与搜索、沟通、知识整理、工单处理、检查和验证。

这意味着,成本下降可能不会让企业少花钱。

它可能让企业做更多原来不做的工作。

这也是为什么,“账单下降”与“Token 总量上升”可以同时发生。真正需要观察的,是已验收任务数量、交付周期、缺陷率和人工介入是否发生了结构变化。

因此,Revolut 最多证明了一件事:

当负载足够稳定、使用规模足够大、工程团队足够强,并且开放模型能满足质量要求时,专属开放模型推理可能成为很有价值的运营选择。

它没有证明:

所有企业自己养 GPU,都能获得同样结果。


4. 很多企业,先该优化工作流,而不是迁移模型

Cloudflare 的案例是一个很好的反方向提醒。

它先检查整个 Agent 工作流:相同前缀是否反复发送、工具描述是否过长、无效工具调用能否删掉、是否存在不必要的审查回合、不同任务是否应使用不同强度的模型。

结果是,代码审查平均成本从约 2.43 美元下降到 0.77 美元,中位完成时间从 4 分 09 秒降到 1 分 32 秒。

这件事的含义很朴素:

在迁移模型之前,先问工作流里有没有白白燃烧的 Token。

一段无用的系统提示,一次重复的工具调用,一个永远不结束的 Agent 回合,一套没有根据任务难度做区分的默认模型策略,都会持续吃掉预算。

很多企业在“自建还是 API”上花了大量时间,却没有先回答几个更基础的问题:

  • 哪些任务真的需要最强模型?
  • 哪些上下文被重复发送?
  • 哪些任务可以批处理?
  • 哪些任务可以缓存?
  • 哪些模型错误会被自动验证器拦住?
  • 哪些任务必须让人复核?
  • 哪些 Agent 应该被设置预算和停止条件?

这些问题的答案,往往比“模型来自哪家厂商”更早决定成本。

美团在搜索推荐的小模型推理场景里,也展示了同样的规律。它不是把通用大模型简单加速,而是因为任务足够确定、输出足够短、负载形态足够清晰,才可能围绕有界 DAG、共享 KV、预编译和特定精度做深度优化。

可迁移的不是“某个系统快了十倍”这个数字。

而是这条方法:先识别负载的结构,再选择模型、推理服务和硬件结构。

图片


5. 开放模型增长,前沿闭源模型也在增长

今天关于开放模型和闭源模型的争论,常常被写成一场替代战争。

现实更像分层。

Menlo 的估计显示,开放模型在其观察范围里的 Token 使用份额上升到 19%,但支出份额只有 4%;与此同时,前沿闭源模型占据约 42% 的 Token 使用和 63% 的支出。

这两组看似矛盾的数据,其实说明了同一件事:

低价、可替代、可验证的任务,正在大量迁向开放模型。

高难度编码、复杂推理、长程 Agent、研究型任务、低容错决策,仍然愿意为前沿能力支付明显溢价。

开放权重不是把所有模型能力都变成了商品。

它首先让一部分任务的智能供给变得可替代。

这对企业的意义非常大。

过去,企业可能只能在“最强但昂贵的 API”和“暂时做不了 AI”之间选择。

现在,它可以同时拥有:

  • 前沿闭源模型,处理最困难、最昂贵的任务;
  • 托管开放模型,覆盖高频、标准化、成本敏感的负载;
  • 专属推理实例,承接稳定且足够大的热点任务;
  • 自营 GPU,服务那些确实需要数据、性能或供应链控制的场景;
  • 路由与回退机制,在任务、成本、延迟和风险之间动态切换。

这不是单一模型的胜利。

而是企业开始拥有“智能供应链”。

6. 自托管最需要的,不是大企业身份,而是六个条件

是否自托管,不能按行业、公司规模或老板对 GPU 的偏好来判断。

它更像一道同时满足多个条件的题。

第一,负载足够大。

不是员工很多,而是真实的有效调用量大;不是偶尔出现峰值,而是足以在长时间里把容量用起来。

第二,负载足够可预测。

如果业务峰谷差异很大,企业为了覆盖高峰买下的 GPU,可能在大多数时间里空转。

第三,质量足够可比。

同一套真实业务评估,必须证明候选开放模型在目标任务上达到了可接受质量。不能只看通用 Benchmark,也不能只看几条演示样例。

第四,服务水平可兑现。

模型“放得下”不代表服务得好。真正要压的是 P95 延迟、长上下文并发、缓存竞争、故障恢复、租户隔离和高峰期的有效吞吐。

第五,组织有长期维护能力。

自托管不是部署一次就结束。模型会升级,框架会变,量化会更新,工具协议会不兼容,安全边界会需要重审,故障也总会发生。

第六,退出成本可控。

如果一年后 API 更便宜、开放模型更强、硬件更快,或者业务用量下降,企业能否平稳切回托管服务?

这一条经常被忽略。

OpenRouter 的一份成本对比就指出,GPU 只有在足够高的负载下才可能比 API 便宜;针对某些大型 MoE 模型,即使 GPU 满载,也未必能赢过最低价的零数据留存 API 端点。这至少提醒企业:GPU 利用率、请求结构、输出长度、缓存命中和服务等级,都会改写成本排序。

自托管不是一种信仰。

它只是某段时间、某类负载、某组价格条件下的局部最优。

7. 企业未来真正该拥有的,是智能控制层

模型会换。

GPU 会折旧。

API 会降价。

今天最强的模型,明年可能只是路由表中的一个选项。

真正能够留下来的,是企业如何组织智能的能力,至少要拥有自己的 Harness。

它至少包括这样一层结构:

业务目标、数据边界、权限与风险约束
                ↓
任务分类、难度判断、数据敏感性分层
                ↓
模型注册表、路由策略、预算与配额
                ↓
闭源 API / 托管开放模型 / 专属实例 / 企业 GPU
                ↓
工具调用、检索、长程 Agent、受控执行环境
                ↓
验证器、人工审批、日志、事故回放
                ↓
任务结果、质量评估、成本台账、失败样本与模型迭代

这套东西听上去不如“我们有多少张 B200”刺激。

但它更接近企业真正的 AI 资产。

一个企业如果只有 GPU 和一份模型权重,却不知道什么任务应该交给它、怎样验证结果、如何控制权限、如何计量返工、何时回退到更强模型,那它拥有的只是昂贵的基础设施。

反过来,如果企业拥有真实任务集、可复算的评估标准、失败样本、模型路由、Agent Harness、权限审计和持续反馈机制,它即使切换模型供应商,能力也不会归零。

这才是“控制智能”的含义。

不是控制某一个模型,而是控制智能进入业务的方式。

8. 企业不需要拥有所有智能,但需要拥有选择权

对大多数企业而言,最合理的路径不是立刻买卡。

先建台账,测量真实任务成本;先做评估,知道不同模型在业务中的完成率;先优化缓存、工具调用和工作流;再做小流量路由;最后才测试专属推理和自托管。

只有当稳定高量、质量可比、服务可兑现、组织能维护、退出成本可控这些条件同时成立时,GPU 才可能从“资产负担”变成“生产能力”。

未来企业之间的差距,也不会简单体现为谁调用了最强模型,或谁买了最多 GPU。

而在于谁更早建立起这样一种能力:

在模型、价格、算力与供应商不断变化时,仍能决定什么任务值得自动化,什么模型应该被调用,什么结果必须被验证,什么风险不能被交给机器。

当智能越来越便宜,企业真正需要拥有的,不只是 Token。

而是把智能变成持续、可验证、可治理生产能力的控制权。


>/作者:王零壹,920.org.cn(AI Research Institute)创始人,港大AIBT研究生,前上市公司 CMO。长期研究 AI 产品、Agent 架构与商业增长,并持续观察技术变迁如何重塑人的工作、判断与生活。

*著有《AIGC从0到1》系列丛书、及东方寓言小说《飞将军》;

*善于洞察先机,1月26日中文互联网第1个意识到OpenClaw(小龙虾)范式价值的人;

关注我,一起AIGC从0到1~

文章标签智能体大模型

资讯来源:由AI资讯编辑整理自互联网公开内容,版权归原作者所有,未经许可,不得转载。