本文来自微信公众号： caoz的梦呓 ，作者：caoz
最近AI的各种迭代越来越疯狂，gemini终于出了4.0，勉强恢复了御三家的地位，deepseek 4.1 flash再发新版也很抢眼，此外，林林总总，各大厂商还在快速的迭代，而相关的各种harness，各种其他工具也是层出不穷。
从自媒体角度来说，AI大模型产品第一手测评和分析依然有很强的流量价值，而且按照目前市场格局，群雄混战的局面来看，估计至少两三年还是稳稳的流量红利，但确实需要非常肝，迭代太密集太频繁了，我的精力肯定是跟不上了。
最近几个月其实见了不少和模型领域有关，算力建设有关的朋友，学者和创业者。做基础infra的，做私有化部署的，做算力中心建设的，做独立大模型的，做相关投资的，各种都有，光环等身的学霸也有，行业资历顶尖的也有，听到了不少故事，也看到了一些新机会，基本上都在直播间聊过，今天文章整理一下吧，很多事情我自己真的懒得去碰了，但是这些机会可以分享一下，有能力的朋友们可以自己去试着看看。
其实去年肖弘来新加坡的时候我当面和他聊过一个话题，因为manus这个话题之前一直很敏感，所以我文章也从来没提过，当时agent产品对海外大模型的依赖度还是很高，那时候感觉一些关键任务上claude，openai还是很难被替代的。但那时候肖弘就判断说，开源大模型会在未来一到两年实现较高的可用性和可替代性，对美国顶尖大模型的依赖度是可以逐渐降低的。
那么今年看上去，这个判断已经基本可以说兑现了。开源模型在很多领域已经足够替代顶尖的美国大模型，而鉴于最近特别是anthoropic拿隐私说事的这个情况（我就不展开了），其实不仅中国公司会开始约束海外大模型的使用，美国不少大公司也开始忌讳这个话题，准备并着手私有化部署开源大模型，以确保自身数据和业务的安全性。
这是一个新的市场空间，而且随着开源模型的能力提升，这个市场可以说是非常广阔的。
去年初deepseek开创了算力盒子市场，可以说已经涌现了一次市场红利，但很遗憾那一批算力盒子大部分在机房吃灰，真正落在业务场景的其实不多，而现在，随着开源模型能力提升和企业对AI使用的依赖度提升，真正落地需求批量出现了。
我说我了解到的几个典型场景。
1，低成本开源小模型
在医疗，法律咨询等行业，有大量文案类，记录摘要类的需求，而这些信息需要保护客户隐私，不能上网。目前本地小模型基本上可以满足信息整理，摘要的诉求。典型的就是阿里的qwen 32B版本，中小企业最低几万人民币即可部署，用于内部文案整理，录音记要等等，其实是很有意义的。
我直播的时候有读者反馈他们正在做这样的部署。
2，短视频生成
Seedance当然是最好的，但对于一些短剧团队来说这个成本还是有点高的，而可以开源部署的minimax-H3就是一个非常值得的可替代选择。据说能力基本与seedance2.0持平，和2.5有差距，但考虑到成本，也是可接受的。
目前有些短剧团队也在考虑租用便宜的minimax-h3 token，而另一些大玩家则会认真考虑私有化部署，实现创作token自由。
3，企业编程和内部技术运维
越来越多企业意识到代码和内部运维安全，不能依赖外部AI，特别是最近A社搞了自己砸自己，让美国巨头都开始对此感到恐慌。
最近一个好玩的新闻，shopify创始人在自家酒窖里用英伟达GB300的机器部署了智谱最新模型，实现了token自由。
还有一个旧闻，知名AI平台huggingface遭遇莫名攻击（后被证实是openai内部测试时AI逃逸围栏进行的攻击）时，在进行防护的时候因为美国大模型的安全围栏政策拒绝服务，选择了部署智谱系统。
目前在海外，智谱口碑相当不错，已经有不少美国公司私有化部署（一个反讽是，智谱公司仍然在美国的实体限制清单里）。
此外kimi，以及最新的deepseek都是企业内部编程不错的选择。这样除了成本可控之外，同时也就不容易产生隐私配置文件泄露或其他类似安全风险。
而且开源模型可以去掉公开模型所必须的安全围栏，对于内部安全审计，攻防测试的处理，都可以更灵活，更自由，不用总是担心被大模型拒绝。
4，其实还有一个市场机会，但普通人缺乏渠道，可能很难涉及，最近有个词，值得关注，叫做主权AI。
什么叫主权AI，我们知道除了美国和中国，其他国家基本上没有开发大模型的能力和经验，日本和韩国，欧洲发达经济体这种，还能自己拿开源模型魔改一下，换个壳。有不少国家连这个能力都没有，但他们也有诉求啊，比如宗教因素，比如有些有一些政治忌讳，他们希望自己有能用自己语言，自己安全策略，自己可控的AI，用于本国人民的日常使用，毕竟AI趋势不可抵挡。
这其实就是开源大模型，基于客户的语料，客户的安全围栏诉求进行训练和后训练么。确保其价值观符合客户要求。
而这恰恰是中国人的机会，因为目前市面上最好的开源模型基本上都是中国的，而且中国人没有宗教和价值观执念，客户给钱就干活对吧，（欧美人很多会有执念，有些需求他们给钱也不干，这个差异是9年前我在迪拜听到的。）
这里还有一个常见的认知误区，很多人会认为这是大公司出海的机会，国企或者互联网巨头的机会，据我所知还真不是。这种主权国家自己有忌讳，他们要项目的绝对控制权（政府合作太复杂），也不想出让太多利益（互联网巨头胃口大，往往会提出太多后续的项目参与）。他们更希望我出钱你干活的简单模式，所以在这个领域，最受欢迎的是什么团队呢，曾经在巨头负责过这类项目，有足够资深经验的负责人又出来创业的小团队。为什么我知道这个呢，我真接过不止一个类似项目的诉求，听过不止一个类似项目的故事。
那你说不就是一个私有化部署么，好像门槛不高啊，只要买得到芯片，企业自己就能做吧。
其实不只是大模型的部署，还包括后续维护。
1，一些开源harness安装，这个能提高产出效率，提高产出质量，这个也是目前很大的信息差所在，但不同领域，不同行业可能有不同选择，而且关键是，这不是一次性的，需要不断的更新维护。
此外还有大量第三方开源工具的配套部署，这些信息差太大了，我自己都跟不过来。
2，后续版本升级，去年曾一度火爆的deepseek算力盒子，今年有多少持续升级的？持续升级到最新稳定版本，还要保证原有数据和会话不丢失，这是需要持续服务的。
3，联网控制
不是说不联网么，其实也没那么绝对，现在很多新资料，新素材，包括编程所需要的新的开源软件，需要与时俱进，那么本地编程，调用联网接口去获取资料，获取开源代码，获取最新行业数据，这个单向联网，绝对是刚需，我需要我的AI获取外网信息，但我不允许我的AI把我的信息发布到外网。这个肯定是有很多诉求的。
4，内部管理
企业应用肯定要配套内部的账户管理，以及员工离职，转岗后的账号管理，以及agent管理，一个员工有若干个agent，配合若干个项目，这个管理系统如何设置，如何能做到灵活切换，授权以及合理监控，这都是问题。
说个八卦，我了解了好几个案例，使用AI编程的公司，（还不止一个上市公司），他们内部调查，发现使用token最多的用户，耗费公司资源最大的，是在干私活。
在硅谷这个现象目前也很严重，其实员工利用企业资源干点私活好像也不是那么严重的事情，但凡事要有个度对吧，对于使用外部模型，一个月烧掉企业几万十几万美金token预算还是有点痛的。如果是内部部署模型就没问题了么？企业内部部署模型算力也会有限，毕竟现在芯片成本都不低的，而且私有化部署的token产出也会受限于算力，内部部署不代表没有成本，如果有人过度使用在工作之外，可能会让正常工作的任务因算力不足而等待延迟，这肯定不是企业想得到的。
以上是我能看到的一些共性的，可以持续跟进的部署工作，真的不是简单的安装。而且很多个性诉求也是可以做的，因为现在AI太强了么。个性诉求也可以让私有化部署的AI快速实现出来。
当然，不同行业，不同领域还有各种合规门槛，以及其他潜在的实施难点，这是肯定的，但所谓问题即机会，目前至少两个明确的利好趋势，其一是隐私安全问题越发被重视，其二是开源模型能力增长极快，可用性极高，而且仍然还在高速增长。基于这两个趋势，私有化部署的热潮肯定是挡不住的。
当然也会有人说，企业自己内部就做了，哪有我们的机会呢。
永远记住，市场不是平的，大家对AI的掌握，理解，使用能力是存在差异的，而且这个差异还不小。部署模型，适度优化，部署harness，部署其他控制软件，增加一些定制化能力，一些巨头企业，软件公司确实应该能搞定，传统行业呢？医疗，律所，金融机构，很多企业一样有诉求，但是他们这方面能力有限，AI赋能，我去年就讲过，这个市场趋势，也仍然存在。就算你看到身边看到的所有人都在用AI，相信我，市场渗透还在早期，真的还在早期。
