AI时代网络搜索的破壁人Cloudflare

NET (Cloudflare) 与 OpenAI 宣布达成的研究试点合作（Research Pilot） 很可能会在 AI 时代颠覆我们使用互联网搜索的方式，在详细拆解这个问题之前，我想先请你停下来想一想：

最近，你有多少次用与大模型的对话，取代了打开搜索引擎的检索？

早在20世纪90年代末，如今隶属于Alphabet（GOOG/GOOGL）的Google，还只是诞生于斯坦福校园的一项搜索引擎实验——彼时，互联网正在迅速膨胀。网页越来越多，仅靠关键词是否出现、出现多少次，已经很难判断一个页面究竟有多重要。Larry Page和Sergey Brin抓住了这个关键问题，并提出了一种后来改变互联网信息秩序的解决方案：PageRank。

PageRank的突破，不是简单地“给关键词打分”，而是利用网页之间的链接关系，为每个页面建立一套近似于“声誉”的评价体系：通俗地说，一个网页如果被许多重要网页链接，它自身也更可能是重要的；而来自高质量网页的一条链接，分量也高于大量普通网页的链接。网页之间原本杂乱无章的连接，由此变成了一张可以计算的信息网络。

这套机制帮助 Google 在早期搜索市场中脱颖而出。在Yahoo 和 AOL 更接近以人工目录、门户导航和内容聚合为主的年代，Google 就以能够快速找到包含关键词的网页，借助链接关系，更有效地判断“哪些网页更重要、更值得排在前面”打败一切竞争对手，从此互联网只有 Google 和 其他搜索引擎。

而真正把这种技术优势变成商业帝国的，是Google随后建立起来的搜索广告闭环。

搜索框天然连接着人的意图。当一个人输入“附近的酒店”“最便宜的机票”或者“哪只股票值得关注”时，他不只是在寻找信息，也可能正在表达一项即将发生的消费或投资需求。

搜索负责识别需求，广告系统负责为需求定价，再把它匹配给愿意付费的商家。用户获得答案，广告主获得潜在客户，而Google则成为两者之间几乎不可绕开的中介，更不要说随后，Android又把Google在桌面互联网时代积累的入口优势延伸到了移动设备，无缝衔接了移动互联网的时代。

按照StatCounter基于网页浏览活动的统计口径，2026年6月，Android在全球移动及平板操作系统中的使用份额约为68.5%；Google在全球搜索引擎引荐流量中的份额则达到91.27%，这意味着：Google的竞争力早已不再局限于“网页搜索”这一项产品。搜索、Chrome、Android、YouTube、Maps、Google Play与广告系统彼此咬合，逐渐形成了一张横跨信息获取、内容消费、移动操作系统、地图导航和应用分发的基础设施网络。

搜索帮助Google理解用户想要什么，Android和Chrome扩大它触达用户的范围，YouTube与Maps延长用户停留的时间，而广告系统则负责把这些意图、场景与注意力转化为收入。

因此，PageRank真正深远的意义，并不只是发明了一种更好的网页排序算法。它帮助Google占据了互联网商业中最稀缺的位置：在用户提出问题、表达需求并准备采取行动的那一刻，成为连接信息与商业的默认中介。

而这个帝国能够运转，还有一个经常被忽视的前提：用户最终需要点击链接，离开Google，进入真正生产内容的网站。正是这一次点击，支撑起了开放互联网延续数十年的利益交换。

也是这一次点击，让AI时代变得不再理所当然。

在生成式AI大规模进入搜索之前，开放互联网长期运行在一套“数据换流量”的隐性契约之上：内容创作者、新闻媒体和各类网站开放自己的公开页面，允许搜索引擎爬虫在robots.txt、访问权限和其他规则边界内抓取、索引；搜索引擎则通过以PageRank为起点、后来不断演化的排序系统，把真实的人类用户重新导回这些网站。

对网站来说，被索引意味着可见性、访问量、广告收入、订阅转化和品牌曝光；对搜索引擎来说，能够理解和组织的网页越多，搜索结果就越完整，用户黏性和广告定价能力也就越强——搜索引擎获取内容，网站获得流量，双方由此形成了支撑开放互联网数十年的共生关系。

当然，这套契约并非没有遭遇过冲击。

随着移动互联网和垂直内容平台兴起，越来越多的信息发现被留在了封闭的推荐流和站内搜索之中。小红书、Instagram、TikTok、YouTube等平台，不再等待用户主动提出一个清晰的问题，而是通过算法不断预测用户下一刻想看什么——开放网页不再是信息世界唯一的中心，传统搜索也不再是内容分发唯一的入口——但在相当长的一段时间里，这些“围墙花园”只是分走了开放网络的时间和流量，并没有从根本上瓦解搜索引擎与网页发布者之间的交换关系。

搜索引擎仍然需要网页内容来组织世界信息，网站也仍然需要搜索引擎带来访问者。只要用户最终还要点击链接、进入网站，旧有的商业循环就依然能够运转。

生成式AI带来的变化，则触及了这套循环的根部，因为模型的 toolcall 可以在不跳转网页的前提下如抽水机一样“隔空”瞬间抽干网站的内容。

传统搜索主要回答的是：“答案可能在哪里？”它把相关网页排序之后呈现给用户，用户仍需要点击链接、进入网站并自行阅读；生成式AI回答的却是：“答案本身是什么？”它不再满足于充当信息世界的导航员，而是开始成为信息的阅读者、整理者和最终讲述者。

这种变化通过两条路径同时发生：

第一条路径发生在模型训练阶段。AI公司大规模抓取公开网页，把其中的知识、语言模式和内容结构用于训练或微调模型。用户后来向模型提问时，模型可以直接依靠已经形成的内部能力作答，原始网站通常不会因为这次回答获得新的访问。

第二条路径发生在实时检索阶段。当问题涉及最新信息，或者超出了模型自身的知识范围，AI系统可以调用内置网页搜索、第三方搜索服务或内容抽取工具，寻找相关页面，再把网页正文转换成适合模型处理的结构化文本。

模型阅读、比较并综合这些材料之后，直接在对话界面中生成答案。

这个过程中，AI产品可能附上来源链接，也可能给原网站带来少量点击，但用户已经不必像过去那样逐一打开网页，才能获得自己需要的信息。

过去，搜索引擎主要帮助用户找到内容；现在，AI开始替用户阅读内容；过去，网页是信息消费的终点；现在，网页越来越像隐藏在AI回答背后的原材料仓库。

爬虫与引荐流量之间越来越悬殊的比例，把这种变化呈现得格外直观：

即使考虑这项统计限制，表格呈现出的数量级差异仍然非常显著。

以2025年7月为例，Google平均每为网站带来一次可识别访问，大约抓取5.4个页面；Perplexity需要抓取约195个页面，OpenAI需要抓取约1,091个页面，而Anthropic则需要抓取约38,066个页面。

换算下来，Anthropic的爬取—引流比大约是Google的7,000倍，OpenAI约为Google的200倍，Perplexity也达到Google的约36倍。

这组数据不能直接证明某一家AI公司“使用了多少内容”，也不能直接等同于版权价值或者商业损失。训练爬虫、搜索爬虫和用户触发的智能体访问，本身就承担着不同任务。

但它至少说明了一件事：与传统搜索相比，AI平台抓取网页的规模，与其向原网站返还的可识别访问量之间，存在更加悬殊的落差：传统搜索引擎抓取网页，主要目的是建立索引并把用户导回网站；AI平台抓取网页，却可能把网页内容直接转化为模型能力、搜索摘要或对话答案。即使最终附带引用链接，用户也未必还需要点击。

一次看似简单的提问，可能触发系统读取多个网站的核心内容，但最终交付给用户的，往往只有一个经过整合的答案。内容生产的成本仍由媒体、机构和创作者承担，用户注意力与使用时长却更多地留在AI平台内部。网站贡献了事实、观点和专业知识，却越来越难通过广告展示、订阅转化和品牌触达收回成本。因此，生成式AI并不是简单地给搜索框换上了一个聊天界面。它正在改写开放互联网延续多年的价值交换方式：内容仍然被抓取、索引和使用，但与之对应的流量回报却在迅速减弱。

旧时代的核心问题是：谁能帮助网站获得更多流量？

AI时代的问题则变成了：谁有权抓取这些内容、以什么目的使用、是否需要付费，以及内容创造者究竟能获得什么回报？

当Google建立起来的“数据换流量”契约开始失衡，开放互联网就需要一套新的边界、新的计价方式，以及一个真正站在网站与爬虫之间的规则执行者。

而Cloudflare（NET），恰好就站在这堵墙上。

Cloudflare 并不是在生成式 AI 出现之后，才突然站到互联网的流量入口——为了等到今天这个位置，它已经在这堵墙上修筑了近十六年。

Cloudflare 的故事，最早可以追溯到一个名为 Project Honey Pot 的反垃圾邮件项目。2004 年，Matthew Prince 与 Lee Holloway 试图追踪垃圾邮件发送者如何从网页中收集电子邮箱地址。随着参与网站不断增加，他们逐渐发现，网站管理者真正需要的并不只是“看见攻击来自哪里”，而是有人能够直接站在网站前面，把攻击挡下来。

这成为 Cloudflare 最初的产品原点。

2010 年，Cloudflare 在 TechCrunch Disrupt 正式公开亮相。网站管理者不需要搬迁服务器，也不必重写代码，只需要修改域名解析，让访问请求先经过 Cloudflare，再抵达真正存放网站内容的源站。

在这个过程中，Cloudflare 可以在距离用户更近的节点缓存内容，通过 CDN 缩短传输路径；也可以在请求到达源站之前，识别并拦截 DDoS 攻击、垃圾流量与恶意程序。

这一区别非常重要：Cloudflare 并不是传统意义上的网站托管商。大量使用 Cloudflare 的网站，其源站可能仍然位于 AWS、Google Cloud、自建机房或其他服务商，但从外部看，它们的大门已经交给了 Cloudflare。也正是在这扇门上，Cloudflare 逐渐把“矛”与“盾”部署在了同一个位置。

CDN 是矛，负责把内容更快、更广地送出去；WAF、DDoS 防护和 Bot Management 是盾，负责判断谁可以进来。正常用户、传统搜索引擎、恶意机器人、训练爬虫和代表用户执行任务的 AI 智能体，无论抱着什么目的访问网站，都可能首先经过同一层网络。矛盾在手，攻守兼备之后，真正推动这张网络扩张的，是 Cloudflare 长期坚持的免费策略：

免费 CDN、DNS 与基础安全服务吸引了大量个人开发者、小型网站和长尾客户。网站越多，经过 Cloudflare 的流量就越大；流量越大，电信运营商、云服务商与 Cloudflare 直接互联的动力就越强；更密集的互联又会降低带宽成本、缩短访问路径，使 Cloudflare 有能力继续提供更多免费服务。

与此同时，海量访问与攻击请求还会形成安全情报。一次新型攻击如果首先出现在某个客户的网站上，其特征就可能帮助 Cloudflare 更快地保护网络中的其他客户。免费用户因此并不只是成本中心，他们共同扩大了 Cloudflare 的流量视野、网络密度和安全样本库，于是，流量的飞轮开始缓缓启动：

免费服务聚合网站，网站聚合流量，流量换来网络互联和安全情报，规模降低单位成本，企业客户再为更高级的性能、安全与计算能力付费。

近十六年后，这张网络已经呈现出近乎支配性的规模——但必须准确理解这种“支配”发生在哪个市场。

截至 2026 年 7 月，W3Techs 统计显示，Cloudflare 被约 23.6% 的全球网站使用；在能够识别出反向代理服务的网站中，它的市场份额约为 83.7%。这个数字不能表述成“Cloudflare 托管了 83.7% 的网站”，因为 W3Techs 同时显示，约 71.8% 的网站并未使用其能够识别的反向代理服务。准确的说法是：在已经采用反向代理、CDN或相关防护服务的网站中，Cloudflare 占据了压倒性的领先位置。 按照 Cloudflare 自己披露的数据，超过 20% 的 Web 位于其网络之后；在全球访问量最高的网站中，约 36% 使用其网络。它的基础设施覆盖 125 个以上国家和地区的 335 座城市，与约 13,000 个运营商、云服务商和企业网络直接互联，全球边缘容量达到约 500Tbps，约 95%的互联网人口可以在50毫秒左右触达其网络。

这些数字的意义不只是“大”，而是 Cloudflare 已经同时掌握了三个极其稀缺的位置。

第一，它站在内容出口。页面发生变化、缓存被刷新、访问量突然上升，Cloudflare往往可以比外部爬虫更早看到。

第二，它站在访问入口。它可以判断请求更像真人、传统搜索爬虫、恶意机器人，还是AI智能体，并在请求抵达源站之前放行、拦截、限速或者发起验证。

第三，它站在规则执行层。网站在 robots.txt 中表达的意愿，本质上只是一项声明，恶意爬虫完全可以选择忽略；但部署在反向代理和WAF上的规则却可以直接返回拒绝访问，甚至在未来要求对方付费。

这就是 Cloudflare 与 Google 最本质的区别。

Google 最初依靠 PageRank 理解“网页与网页之间的关系”：哪些页面被更多重要页面引用，哪些链接更可能代表权威。Cloudflare理解的则是“访问者与网页之间正在发生什么”：谁在访问、访问频率如何、页面是否真的发生变化、网站愿不愿意让它访问。

前者掌握的是信息排序权，后者正在争夺信息访问权。

而 AI 搜索正在把后者的重要性迅速放大。

PageRank 所解决的，是链接互联网的问题：面对数以亿计的网页，应该把哪些链接排在前面。生成式 AI 面对的却不再只是“哪个网页排名更高”，而是“应该读取哪些内容、抽取哪些事实、何时重新读取，并把它们综合成什么答案”。

在这个新流程中，网页不再必然是用户点击后的终点，而越来越像生成答案之前的一组原材料。排序对象也从完整网页，进一步下沉到段落、事实、实体、时间戳和证据片段。

这并不意味着 PageRank 或链接关系突然失效。链接仍然可以帮助判断权威性，Google积累的搜索索引、用户查询和反垃圾能力也不会凭空消失。但 AI 搜索增加了 PageRank 时代没有解决的几类问题：

内容是否刚刚更新？爬虫是否有权将它用于搜索、推理或训练？这次抓取是否只是重复读取一个没有变化的页面？答案引用了内容之后，原网站能否获得流量或者补偿？

Cloudflare 恰好拥有回答这些问题所需要的网络位置。

它披露的数据表明，超过 50% 的“良性机器人”爬取流量都在重复抓取没有发生变化的页面。对于传统搜索引擎来说，这意味着浪费带宽和计算资源；对于 AI 搜索来说，它还可能意味着模型读到了过期信息。如果 Cloudflare 可以直接发出“这个页面刚刚更新”或者“这个页面没有变化”的信号，爬虫就不必再按照固定周期盲目巡查整个网站。

2026 年 7 月 8 日，Cloudflare 与 OpenAI 宣布启动一项研究试点。双方计划利用参与网站主动共享的信号，以及 Cloudflare 观察到的内容新鲜度、流量质量和实际页面变化，研究如何提高 AI 搜索发现与索引开放网页的效率、准确性和时效性。

Cloudflare负责供给侧：哪些页面值得看、何时发生变化、什么访问被允许；OpenAI负责需求侧：用户正在问什么、哪些内容与问题相关，以及如何把材料组织成答案。

这才是这项合作真正值得关注的地方。Cloudflare 不只是帮助 OpenAI“抓取更多网页”，而是在尝试把传统搜索时代的盲目爬网，改造成一套由实时信号驱动、获得网站授权、甚至可以计价的内容供应系统。Cloudflare 与 OpenAI 研究试点

从这个角度看，Cloudflare 对 Google 构成的潜在挑战，并不是再造一个更大的搜索框，也不是简单发明一个“比 PageRank 更好”的排序算法。

它试图改变的是搜索引擎获取网页的底层方式。

Google 的护城河建立在集中式索引、用户查询和搜索分发之上；Cloudflare 则可能从网站一侧构建一套分布式的内容发现与权限网络：网站主动发布更新信号，AI平台按需读取，访问规则可以被机器执行，内容使用则有机会被计量和付费。

如果这套体系成立，搜索引擎不再是唯一能够组织开放网页的中介。大量网站可以通过 Cloudflare，把内容更新、访问许可和商业条件直接提供给不同的 AI 搜索与智能体平台。Cloudflare由此可能成为Google索引体系之外，一条新的互联网内容供应管道。

但这种地位也伴随着明显争议。

Cloudflare一方面替网站识别、限制和定价AI爬虫；另一方面又在建设Workers AI、AI Search、Browser Run、AI Index和Open Index等产品，为开发者提供抓取、索引和模型运行能力。换句话说，它既在制定机器访问内容的规则，也在参与机器使用内容的市场。

谁被认定为“良性爬虫”？谁可以获得更低成本的访问？哪些网站能够被AI搜索优先发现？Cloudflare自己的AI产品是否会获得与竞争者完全相同的条件？一旦访问规则、内容质量信号和交易结算都集中在同一平台，Cloudflare就可能同时成为守门人、裁判员和运动员。

目前，这项与OpenAI的试点仍然设置了若干边界：Cloudflare称参与信号由客户选择共享，项目只用于搜索，不共享网页内容，也不用于基础模型训练；它还表示该计划“在设计上保持中立”，未来将向愿意遵守规则的其他答案引擎开放。

但这些仍是研究阶段的原则，而不是已经被长期验证的市场制度。Cloudflare能否建立透明的爬虫分类、平等接入和数据治理机制，将决定它最终成为开放互联网的新公共基础设施，还是另一座更隐蔽的流量围墙。

因此，更完整的逻辑并不是“Cloudflare依靠免费CDN换来了OpenAI的合作”，而是：

免费CDN与安全服务帮助 Cloudflare 聚合海量网站
↓
海量网站帮助它建设全球网络，并获得实时流量与安全信号
↓
WAF 和 Bot Management 把这些信号转化为可执行的访问控制
↓
当 AI 搜索需要更及时、更准确、更低成本地理解开放网页时，Cloudflare 便获得了同时连接内容供给、访问规则和 AI 需求的独特位置。

十六年前，Cloudflare修建了一堵墙，帮助网站挡住攻击。

十六年后，它开始在墙上安装闸门、传感器和计价器：告诉AI哪些内容发生了变化，决定哪些机器可以通过，并尝试让内容创造者重新获得谈判和收费的权利。

Google曾经依靠PageRank，成为开放互联网的导航员。

Cloudflare想做的，则是成为AI时代的流量海关、内容交易所和规则执行者。

它未必会取代Google，但它正在争夺一个可能更加底层的位置：

Google决定人们先看见什么；
**Cloudflare可能决定AI能够看见什么，以及为此需要付出什么代价。 *

主要资料来源

注[1]：爬取—引流比，是指一个平台的爬虫抓取HTML页面的请求数量，与该平台实际为网站带来的HTML页面访问量之比。数值越高，意味着平台每为网站带来一名可识别的访问者，此前抓取的页面越多。

Cloudflare还曾披露，2025年6月19日至26日这一周，Anthropic的比例约为70,900 : 1；在另一份按月汇总并采用四舍五入口径的材料中，Anthropic和OpenAI的2025年6月数据分别被表述为约73,000 : 1和1,700 : 1。它们与表格中的月度精确值基本指向同一趋势，但不应被描述为“历史峰值”。

此外，部分AI原生应用带来的访问可能不携带可识别的Referer请求头，因此无法被完整归因。Cloudflare也明确提示，这可能在一定程度上高估AI平台的爬取—引流比，但目前无法准确判断高估幅度。

Google早期历史与PageRank论文

https://research.google/pubs/the-anatomy-of-a-large-scale-hypertextual-web-search-engine/

Google搜索排序系统说明

https://developers.google.com/search/docs/appearance/ranking-systems-guide

Google公司历史

https://about.google/company-info/our-story/

StatCounter全球搜索引擎份额

https://gs.statcounter.com/search-engine-market-share

StatCounter移动及平板操作系统份额

https://gs.statcounter.com/os-market-share/mobile-tablet/worldwide/

StatCounter统计方法说明

https://gs.statcounter.com/faq

Cloudflare Radar爬取—引流比完整月度数据

https://blog.cloudflare.com/crawlers-click-ai-bots-training/

Cloudflare首次发布爬取—引流比指标及统计方法

https://blog.cloudflare.com/ai-search-crawl-refer-ratio-on-radar/

Cloudflare关于2025年6月1,700:1与73,000:1数据的说明

https://blog.cloudflare.com/control-content-use-for-ai-training/

Cloudflare早期历史

https://www.cloudflare.com/press/press-releases/2010/cloudflare-launches-at-techcrunch-disrupt/

Cloudflare规则型WAF演进

https://blog.cloudflare.com/heuristics-and-rules-why-we-built-a-new-old-waf/

Cloudflare免费策略与商业飞轮

https://blog.cloudflare.com/en-us/cloudflares-commitment-to-free/

Cloudflare Project Galileo

https://www.cloudflare.com/galileo/

W3Techs反向代理服务市场统计

https://w3techs.com/technologies/overview/proxy

Cloudflare全球网络数据

https://www.cloudflare.com/network/

Cloudflare与OpenAI搜索研究试点

https://www.cloudflare.com/press/press-releases/2026/cloudflare-announces-research-pilot-with-openai/