迁址公告
古东管家APP
关于我们
本文作者 | 万连山
数据支持 | 勾股大数据（www.gogudata.com）
众所周知，现在的大语言模型，归根结底是对海量文本的模式进行复杂的拟合。
对AI公司而言，数据是一切的源头，重要性排在第一位。
但现在，这个源头，出了变故。
7月2日，网络基础设施与安全巨头Cloudflare，向全球所有AI公司发出最后通牒：
在2026年9月15日前，必须将“搜索引擎”爬虫与“AI训练数据/代理”爬虫标识彻底分离。
届时，任何挂羊头卖狗肉的混合爬虫，系统直接物理断网、全局拦截。
这就等于，给整个AI行业上了一把锁。
至于原因，想也想得到：分赃不均。
英伟达在物理层面拿捏所有算法公司，赚的盆满钵满。
在互联网世界，网络基础设施企业又何尝不是“卖铲人”的生态位？
凭什么不能分一杯羹？
01
Cloudflare是哪路神仙？
它处理着全球约20%的互联网流量，提供内容分发网络（CDN）、域名系统（DNS）、DDoS攻击防护以及Web应用防火墙（WAF）等底层基础设施服务。
人称“赛博菩萨”。
何解？
过去十几年里，它为全球无数中小网站、个人博客提供了免费且强悍的抗DDoS攻击和CDN加速服务。
关键词，免费。
但就是这么一位慈眉善目的菩萨，此时此刻却满脸怒火。
根据Cloudflare的监测数据，2026年上半年，Bot（机器人/爬虫）流量已经超过了人类流量。
“原本业界预测这个转折点要到2027年才会发生，但Agent的爆发让进度提前了一年。”
按照目前的趋势，短短五年内，机器与人类的流量比例将达到1000:1。
这明显会导致一个问题：当互联网的主要使用者从人类变成AI时，底层商业秩序必然崩溃。
互联网时代存在一个基本的搜索爬虫与流量反哺机制：
你建了一个网站，提供优质内容；谷歌等搜索引擎的爬虫来你的网站抓取内容。
作为回报，搜索引擎把网页收录进索引池。当用户搜索相关问题时，搜索引擎展示网站链接。
用户点击蓝色链接，流量倒流回站长的网站，你靠这些流量卖广告，赚到了钱。
这是一个运行了30年之久的完美双赢闭环。
你出内容，我出技术，大家一起发财。
但生成式AI毫无疑问破坏了生态契约。
现在的剧情是这样的：
AI大厂的爬虫扫荡网站，把创作者的内容塞进大语言模型里进行预训练或者微调。
当用户向AI、或者带有AI概览的搜索引擎提问时，AI在搜索界面输出总结好的内容。
根据第三方SEO增长社区和互联网的审计数据：OpenAI的GPTBot爬取一个网站大约1500次，只能给该网站带来1次点击引流。
当谷歌搜索结果中出现AI生成的摘要时，用户点击搜索链接的概率暴跌至8%，点击AI摘要内部引用链接的概率更是低至1%。
这就是现在常说的“零点击搜索”。
AI几乎拿走了所有价值，创作者得到的流量反馈≈0。
完全就是强盗，吃干抹净一点都不给原主人留。
无论从什么角度来看，这都是不能容忍的。
但是，网站主们对此毫无办法。
核心原因就是Cloudflare此次针对的靶点：混合用途爬虫。
根据Cloudflare官方的控诉，越来越多的AI爬虫蓄意伪造其User-Agent头部信息，伪装成急需给网站引流的搜索引擎爬虫，堂而皇之绕过robots.txt的限制，无限制下载网页。
这就陷入了经典的囚徒困境：
一刀切封杀，混合爬虫是进不来了，但网站连搜索结果页面都上不去了；不封杀，死得更快。
不论怎么样，都是个死。
此时此刻，也只能让“菩萨”出面主持公道了。
02
根据《Configure AI bot policies》白皮书，Cloudflare正式放弃“人类orAI”的二元分类，而是从“行为动机”和“用途分类”入手，将全网自动化流量划分为三个类别：
搜索类：为传统搜索引擎建立索引、事后给网站导流的爬虫
智能体类：用户的实时检索爬虫，属于检索增强生成行为
（比如用户问GPT某个问题，AI实时放出的ChatGPT-User爬虫）
训练类：无差别大规模数据抓取，给大模型做预训练
自2026年9月15日 起，所有接入Cloudflare的新域名用户，其安全策略将自动变更为：允许Search，默认拦截Training和Agent。
如果某个AI大厂拒不配合，继续派出同时兼具搜索和训练目的的混合型爬虫，会怎么样？
根据Cloudflare的规则，将按照最严标准惩罚：100%全盘拦截，连Search的功能也被禁止。
如果爬虫强行伪装呢？
作为抗DDoS起家的安全巨头，Cloudflare有的是办法。
1.行为分析
WAF会分析请求头、TLS指纹、甚至HTTP/2连接并发特性。
在Cloudflare每天千亿次流量的大数据面前，AI几乎不可能用无头浏览器伪装成人类。
2.反向吸血
利用AI迷宫蜜罐技术，在瞬间动态生成一个无限虚假页面迷宫。
AI爬虫一旦掉进去，就会在无数的垃圾虚假内容中死循环，消耗掉AI公司巨额的算力和带宽成本。
3.网络机器人身份验证
Cloudflare牵头搞了一套开放框架，要求合规的AI机器人和自动购物Agent，必须通过加密手段向发布商自证清白，证明身份和意图合法
……
如此一来，最受伤的是谁？
OpenAI、Anthropic、Perplexity等算法公司一定会损失大量中小网站、垂直社区的数据。
至少，不能像以前那样白嫖了，必须花钱和网站主签授权协议。
最大的代价无非就是，训练模型的成本变高了。
比如OpenAI，早就拆分了爬虫：用于训练数据抓取的是 GPTBot，用于ChatGPT实时联网查询的是 ChatGPT-User。
只有谷歌这个缝合怪不一样。
全球AI爬虫流量占比 (2026年Q2)
长久以来，谷歌利用自己在全球搜索市场超过90%的垄断地位，让Googlebot畅通无阻，堂而皇之用抓来的数据喂养Gemini。
为了保住在谷歌搜索里的排名，没有哪个网站敢得罪，除非你想在互联网世界蒸发。
Cloudflare甚至直接点名：“因为他们让网站陷入了‘如果不把内容交给AI使用，就难以在搜索结果中被搜索到’的被动局面，导致目前某最大搜索引擎掌控的信息量，是其他领先AI公司的两倍之多。”
等到9月15日，谷歌将面临极为痛苦的选择：
不分拆Googlebot，将失去对全球20%网页的索引能力，搜索质量出现灾难性下滑；但如果分拆 Googlebot，明确剥离出搜索爬虫和训练爬虫，Gemini又将立刻面临断炊的危机。
而且，可以预见的是，继Cloudflare后，绝对会有越来越多网络基础设施企业跟进类似政策。
这等于是剥夺了谷歌利用垄断地位捆绑索取数据的特权，被强行拉到了和OpenAI等初创算法公司同样的起跑线上。
03
互联网苦AI小偷久矣。
Cloudflare这次的举动，可谓是大快人心。
不过，这当然不是事情的全部。
经不可轻传。
就算是佛也爱钱，何况Cloudflare只是“赛博菩萨”。
正如我们开头所说，任何矛盾都能在一定程度上解读为分赃不均。
堵不如疏。
AI的进化，毕竟是大势所趋。一味地无脑封锁，只会让Cloudflare站在整个市场的对立面。
其实早在2025年7月，Cloudflare就试水推出了“Pay Per Crawl”（按爬取次数付费）机制。
AI公司按抓取了多少数据、多少个页面来算账，Cloudflare抽成后把钱分给网站。
但这个模式有明显的漏洞：AI公司觉得亏，因为大量垃圾网站充斥着的垃圾信息，也得付钱；优质网站也亏，自己的精华内容，凭什么和垃圾信息一个价？
所以趁着本次对全球AI公司发出最后通牒的机会，Cloudflare正式推出新机制，Monetization Gateway（货币化网关）和“Pay Per Use”（按使用次数付费）。
当AI在回答用户问题并引用了某个接入Cloudflare保护的网站内容时，Cloudflare就能通过数字指纹和API审计技术判定：“这次回答，你使用了某某网站的知识资产。”
简单来说，OpenAI等公司，不需要去与全球数以千万级的中小网站签授权协议（本来也无法做到），只要接入Cloudflare的统一API、预存“版权保证金”，就能合法拥有全球互联网23.5%的内容。
每流过一笔版权费，Cloudflare就抽走一笔过路费。
等于是收税。
这世上还有比收税更好的生意吗？
如果所有AI公司和网站都通过Monetization Gateway进行数据交易结算，即便税率再低，它也有望超越传统金融巨头。
Cloudflare CEO的说法是这样的：“在未来，每次访问一个网站获取信息，你可能只需支付几分之一美分。这意味着，作为基础设施，我们必须能够在第一天就支持每秒大约1000万笔的金融交易，并且未来要扩展到每秒1亿笔交易——这比现有的Visa网络还要大两个数量级。”
但这一趋势，对行业造成的影响也是非常明显的。
AI模型数据荒将提前到来，且数据成本陡增。
随着Cloudflare（以及后续大概率会跟进的Akamai等厂商）切断白嫖通道，高质量的公开网页数据彻底变成了有源之水、有表之计。
AI大厂不得不将扩大支出购买优质数据版权；没钱支出长期版权账单的中小公司将被加速淘汰。
原本越来越不被看好的创作者经济，则会因此重新繁荣。
这次事件，本质上是互联网原住民对AI野蛮资本的绝地反击。
Cloudflare如果能够成功推行并确立行业标准，毫无疑问将为创作者提供一条新的生存之道：从“向人类卖眼球广告”，转变为“向AI卖高质量的高密度语料”。
从这个角度看，人与AI的关系还真是微妙。（全文完）
免责声明：所有平台仅提供服务对接功能，资讯信息、数据资料来源于第三方，其中发布的文章、视频、数据仅代表内容发布者个人的观点，并不代表泡财经平台的观点，不构成任何投资建议，仅供参考，用户需独立做出投资决策，自行承担因信赖或使用第三方信息而导致的任何损失。投资有风险，入市需谨慎。
请先登录后发表评论