馬斯克和特朗普，這對(duì)白宮二人轉(zhuǎn)最近「嘴炮大戰(zhàn)」進(jìn)入到 2.0 時(shí)期。和這對(duì)歡喜冤家類似的，是國(guó)外出版商集團(tuán)和 AI 巨頭之間的相愛相殺——一方面有大出版商要和 AI 公司合作，另一方面也有出版商誓死要把 AI 巨頭告破產(chǎn)。

根據(jù)數(shù)據(jù)，AI 搜索和 ChatGPT 出現(xiàn)后，全球網(wǎng)站流量都在下降；另一方面，AI 巨頭的「AI 爬蟲」卻不顧爬蟲協(xié)議，以數(shù)萬(wàn)次的爬取不斷侵蝕所有網(wǎng)站的數(shù)據(jù)。

這時(shí)候，終于有一家基建公司站了出來(lái)，挽著內(nèi)容創(chuàng)作者的手說(shuō)：「我們可以對(duì) AI 巨頭說(shuō)不！」

Cloudflare，這家掌控全球約 20% 網(wǎng)絡(luò)流量的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施巨頭，被網(wǎng)民譽(yù)為「賽博菩薩」的公司，在 2025 年 7 月上線了一個(gè)實(shí)驗(yàn)性產(chǎn)品和交易市場(chǎng)：「Pay Per Crawl」——給 AI 爬蟲立下了新規(guī)矩：

要么獲得許可，要么付費(fèi) 。

簡(jiǎn)單來(lái)說(shuō)，這個(gè)功能的本質(zhì)是給網(wǎng)站內(nèi)容創(chuàng)作者一個(gè)選項(xiàng)「開關(guān)」：可以選擇允許 AI 爬蟲自由訪問，按次爬取收費(fèi)，抑或者直接封鎖訪問。

按照 Cloudflare 創(chuàng)始人的說(shuō)法，「內(nèi)容是驅(qū)動(dòng) AI 引擎的燃料，因此，內(nèi)容創(chuàng)作者直接獲得報(bào)酬才是公平的。」

對(duì) AI 公司來(lái)說(shuō)， 想繼續(xù)抓取全網(wǎng)內(nèi)容來(lái)訓(xùn)練模型，不能再像以前那樣「免費(fèi)吃大餐」 。但也不是沒有好處，因?yàn)楦鶕?jù)明碼標(biāo)價(jià)付費(fèi)，可以避免版權(quán)爭(zhēng)議問題。

Cloudflare 這次的「防蟲」舉措，能緩解 AI 爬蟲的肆意攻擊嗎？更重要的是， 這家公司能否利用自己獨(dú)特的地位，建立起一個(gè)全新的 AI 時(shí)代內(nèi)容分發(fā)和變現(xiàn)模式 ？

 

01

AI巨頭的「免費(fèi)午餐」

 

過(guò)去幾十年，大多數(shù)網(wǎng)頁(yè)默認(rèn)是公開「可爬」的。谷歌、Bing 這類搜索引擎為網(wǎng)站帶來(lái)流量，有了流量，網(wǎng)站再通過(guò)廣告或銷售訂閱變現(xiàn)——這是搜索時(shí)代的隱形契約。

可 AI 時(shí)代，傳統(tǒng)搜索流量驟降，這筆賬越算越虧。

AI 公司把全網(wǎng)內(nèi)容當(dāng)作訓(xùn)練燃料，卻幾乎不用給大部分創(chuàng)作者回報(bào)。當(dāng)用戶直接在 AI 聊天機(jī)器人里提問，答案往往來(lái)源于總結(jié)好的內(nèi)容，而不是數(shù)十個(gè)藍(lán)色鏈接，不會(huì)給網(wǎng)站帶來(lái)更多流量。

甚至于谷歌這樣的搜索巨頭本身也在變化，以前他們提供網(wǎng)站鏈接列表，如今他們?cè)谒阉黜?yè)面推出了「人工智能概述」，據(jù)他們的報(bào)告，75% 的查詢用戶無(wú)需點(diǎn)擊任何鏈接就得到了解答。

Cloudflare 2025 年 7 月的最新數(shù)據(jù)顯示： 谷歌的爬蟲大約每 6 至 7 次抓取給網(wǎng)站帶回 1 次點(diǎn)擊，而 OpenAI 則是 1500 次才換來(lái) 1 次跳轉(zhuǎn)，Anthropic 的比例甚至更夸張，高達(dá) 73300 次換 1 次 。

各大公司 AI 爬蟲每次抓取為網(wǎng)站帶來(lái)的點(diǎn)擊比例｜圖片來(lái)源： Cloudflare  

 

這意味著，傳統(tǒng)的「內(nèi)容換流量」模式失效了。相比傳統(tǒng)搜索引擎，AI 巨頭們吃掉了海量網(wǎng)站內(nèi)容，卻不給「導(dǎo)流」，這種失衡讓一些內(nèi)容生產(chǎn)者愈發(fā)難以為繼。

「有了 OpenAI，網(wǎng)站流量獲取難度比谷歌時(shí)代高出 750 倍，而有了 Anthropic，難度更是高達(dá) 3 萬(wàn)倍。原因很簡(jiǎn)單： 我們?cè)絹?lái)越不再消費(fèi)原創(chuàng)內(nèi)容，而是消費(fèi)它們的衍生品 ?！笴loudflare CEO Matthew Prince 在一篇博文中稱，「這不是一個(gè)公平的交易」。

AI 公司爬數(shù)據(jù)也不是沒有代價(jià)的，這兩年 AI 巨頭一直被指控「偷內(nèi)容」來(lái)訓(xùn)練大模型，引發(fā)全球范圍的版權(quán)訴訟潮，尤其是紐約時(shí)報(bào)等新聞機(jī)構(gòu)和 OpenAI 訴訟不斷。

活躍的大廠 AI 爬蟲機(jī)器人｜圖片來(lái)源： Cloudflare  

 

因此，Cloudflare 推出「Pay Per Crawl」，建立一個(gè)「按次付費(fèi)爬取」的市場(chǎng)，想要解決的正是這個(gè)問題。

該公司設(shè)計(jì)了一個(gè)權(quán)限和支付系統(tǒng)，網(wǎng)站可以在后臺(tái)選擇對(duì) AI 爬蟲「允許、封鎖或收費(fèi)」，AI 爬蟲如果想抓取該網(wǎng)站內(nèi)容，必須注冊(cè)、驗(yàn)證身份，并在每次訪問時(shí)完成支付。

如果順利， 這一模式能讓網(wǎng)絡(luò)內(nèi)容從「廣告變現(xiàn)」走向「內(nèi)容授權(quán)變現(xiàn)」，開拓全新的收入來(lái)源 。無(wú)論是大媒體，還是冷門小博客，都能在 AI 時(shí)代擁有議價(jià)權(quán)，被 AI 付費(fèi)使用。

為了強(qiáng)調(diào)其意義，Cloudflare CEO 還將「Pay Per Crawl」推出的這一天稱為：

「內(nèi)容的獨(dú)立日」 。

 

02

AI 「過(guò)路費(fèi)」怎么收？

 

當(dāng)然，設(shè)想很美，但技術(shù)怎么落地？

Cloudflare 這家公司起家靠的是提供 CDN、DDoS 防護(hù)、DNS、零信任安全等服務(wù)，它在全球 300 多個(gè)城市部署了節(jié)點(diǎn)，承載約 20% 的 Web 流量，給它當(dāng)「中介」提供了方便。

「Pay Per Crawl」建立在它全球 CDN 網(wǎng)絡(luò)的中間層：它能在訪問請(qǐng)求進(jìn)到源站前就識(shí)別和處理 AI 爬蟲。站長(zhǎng)可以在 Cloudflare 后臺(tái)設(shè)定三種模式：允許、收費(fèi)、封鎖。

站長(zhǎng)可以在后臺(tái)設(shè)定允許、收費(fèi)或封鎖｜圖片來(lái)源： Cloudflare  

 

所有新加入 Cloudflare 的網(wǎng)站默認(rèn)封鎖 AI 爬蟲，除非站長(zhǎng)主動(dòng)允許。只有與 Cloudflare 建立合作關(guān)系的 AI 公司才能參與支付機(jī)制，否則將被封鎖。

如果 AI 爬蟲向付費(fèi) URL 發(fā)起請(qǐng)求，尚未付費(fèi)，Cloudflare 就會(huì)返回 HTTP 402 Payment Required 狀態(tài)碼——一個(gè)過(guò)去幾乎沒人用的、專門為「網(wǎng)絡(luò)支付」預(yù)留的狀態(tài)碼。AI 爬蟲可以在請(qǐng)求里帶上支付信息，以表示同意支付配置的價(jià)格，一旦匹配價(jià)格就放行返回 200 OK，并自動(dòng)結(jié)算。

Cloudflare 本身則是這個(gè)交易的「收銀臺(tái)」，負(fù)責(zé)聚合賬單和分發(fā)收益 。

Cloudflare 會(huì)返回 HTTP 402 Payment Required 狀態(tài)碼｜圖片來(lái)源：Cloudflare  

 

爬蟲可以在請(qǐng)求里帶上支付信息｜圖片來(lái)源： Cloudflare  

 

HTTP 200 OK 響應(yīng)確認(rèn)收費(fèi)｜圖片來(lái)源： Cloudflare  

 

更重要的是，這并不是靠簡(jiǎn)單的 User-Agent 欺騙就能繞過(guò)的。Cloudflare 要求 AI 公司注冊(cè)密鑰，用數(shù)字簽名保證身份。這也是為了防止「山寨爬蟲」冒充合規(guī)者逃避支付。

過(guò)去，robots.txt 是一個(gè)放在網(wǎng)站根目錄下的純文本文件，用來(lái)告訴搜索引擎的爬蟲哪些頁(yè)面可以抓取，哪些不可以，但它只是網(wǎng)站的「禮貌建議」，很多 AI 爬蟲根本不理會(huì)。Cloudflare 的方案改變了這一點(diǎn)，把現(xiàn)有的、靠 robots.txt 的「軟約束」變成了「硬閘門」。

不過(guò)，據(jù) Cloudflare 稱， 目前排名前 10000 的域名中，只有約 37% 擁有 robots.txt 文件 。

給 AI 爬蟲設(shè)置關(guān)卡｜圖片來(lái)源： Cloudflare  

 

如果要參與 Cloudflare 的爬取付費(fèi)市場(chǎng)，爬取方、被爬取方都必須開設(shè) Cloudflare 賬戶。截至目前，「Pay Per Crawl」仍處于內(nèi)測(cè)階段，僅部分大型出版商參與，如 BuzzFeed、《大西洋月刊》和《財(cái)富》等，Cloudflare 還在持續(xù)公開征集有意向的內(nèi)容創(chuàng)作者和抓取者。

「我們預(yù)計(jì)按次付費(fèi)模式將迎來(lái)顯著發(fā)展?！笴loudflare 官方稱。

雖然目前仍處于初期階段，但該公司對(duì)未來(lái)還有很多設(shè)想。比如，出版商或其他機(jī)構(gòu)可以針對(duì)不同內(nèi)容類型收取不同費(fèi)用，或者根據(jù) AI 應(yīng)用的用戶數(shù)量進(jìn)行動(dòng)態(tài)定價(jià)，或者根據(jù)訓(xùn)練、推理、搜索等不同領(lǐng)域引入更細(xì)粒度的定價(jià)策略。

他們還認(rèn)為， 按次付費(fèi)爬蟲的真正潛力或許會(huì)在 Agent 智能代理的世界中顯現(xiàn) 。

「如果智能代理付費(fèi)墻能夠完全以程序化的方式運(yùn)作，會(huì)怎樣？想象一下，你可以請(qǐng)你的深度研究助手幫你整理最新的癌癥研究、法律簡(jiǎn)報(bào)，或者幫你找最好的餐廳——然后給這位智能代理一筆預(yù)算，用于獲取最有用、最相關(guān)的內(nèi)容?！?/p>

「以 HTTP 402 響應(yīng)代碼為基石的首個(gè)解決方案，將開啟一個(gè)智能代理能夠以程序化方式協(xié)商訪問數(shù)字資源的未來(lái)。」Cloudflare 稱。

 

03

Internet 的十字路口

 

從經(jīng)濟(jì)層面來(lái)說(shuō)，這可能是 AI 和廣大內(nèi)容創(chuàng)作者「重新談判分賬」的開端。

現(xiàn)在，只有頭部大媒體能和 AI 公司談授權(quán)（比如 紐約時(shí)報(bào)告了 OpenAI 后才談成和解），絕大多數(shù)中小網(wǎng)站、論壇甚至個(gè)人作者都被「默默爬走」，毫無(wú)反抗的能力，或者說(shuō)意識(shí)。Cloudflare 的方案，實(shí)際上可以把這種議價(jià)能力普及到更廣泛的網(wǎng)站。

據(jù) Cloudflare 團(tuán)隊(duì)稱，他們與新聞機(jī)構(gòu)、出版商和大型社交媒體平臺(tái)進(jìn)行了數(shù)百次對(duì)話，他們一致「希望允許 AI 爬蟲訪問其內(nèi)容，但希望獲得報(bào)酬?！?/p>

對(duì)于支持者來(lái)說(shuō)，「Pay Per Crawl」模式在理念上很「公平」：創(chuàng)作者有了收入，AI 公司也避免了法律風(fēng)險(xiǎn)，長(zhǎng)遠(yuǎn)看能推動(dòng)整個(gè)產(chǎn)業(yè)走向更合規(guī)的內(nèi)容許可。

圖片來(lái)源： Cloudflare  

 

當(dāng)然，AI 公司未必開心，互聯(lián)網(wǎng)數(shù)據(jù)不再免費(fèi)，要抓新內(nèi)容，就得花錢，這意味著算力之外的成本要素。

但另一方面，這也或許會(huì)抑制濫抓取，也迫使 AI 模型開發(fā)者在數(shù)據(jù)上更有選擇性——比如針對(duì)性購(gòu)買高價(jià)值的內(nèi)容，而不是一股腦地把各種網(wǎng)站內(nèi)容都喂進(jìn)模型里。

Matthew Prince 稱，「 AI 引擎就像一塊瑞士奶酪，真正能夠填補(bǔ)這塊奶酪孔洞的全新原創(chuàng)內(nèi)容 ，比如今占據(jù)網(wǎng)絡(luò)大部分版面的重復(fù)性、低價(jià)值內(nèi)容更有價(jià)值?！?/p>

在他看來(lái)，流量一直以來(lái)都無(wú)法準(zhǔn)確衡量?jī)?nèi)容的價(jià)值，「如果我們能夠開始對(duì)內(nèi)容進(jìn)行評(píng)分和評(píng)估，不是根據(jù)它產(chǎn)生了多少流量，而是根據(jù)它對(duì)知識(shí)的促進(jìn)程度（以它填補(bǔ)了多少 AI 引擎「瑞士奶酪」中的現(xiàn)有孔洞來(lái)衡量）——我們不僅可以幫助 AI 引擎更快地進(jìn)步，而且有可能促進(jìn)高價(jià)值內(nèi)容創(chuàng)作的新黃金時(shí)代?！?/p>

不過(guò)，數(shù)字權(quán)利倡導(dǎo)者可能會(huì)提出：小型 AI 創(chuàng)業(yè)團(tuán)隊(duì)、研究者、開源社區(qū)，能否承擔(dān)這樣的數(shù)據(jù)成本？學(xué)術(shù)研究、公益存檔這些「良性爬蟲」會(huì)不會(huì)寸步難行，只能訪問有限、低價(jià)值的數(shù)據(jù)源？

在一個(gè)廣告收益下滑、流量成本高漲的現(xiàn)實(shí)里，會(huì)有多少網(wǎng)站愿意無(wú)償開放給 AI 爬蟲吸血？這會(huì)不會(huì)成為「封閉化」的開始，讓互聯(lián)網(wǎng)失去它的自由與共享精神？

如果全網(wǎng)都默認(rèn)封鎖收費(fèi)，這會(huì)不會(huì)無(wú)意中加劇「大廠壟斷」 ？畢竟，大廠比較有錢。

「Pay Per Crawl」模式，一方面試圖解決 AI 吸血內(nèi)容卻不反哺的問題，另一方面，也有可能在無(wú)意中加高 AI 創(chuàng)新的門檻，回到版權(quán)保護(hù)與知識(shí)開放的老命題。

當(dāng)然，Cloudflare 只是給網(wǎng)站更多自主權(quán)。網(wǎng)站所有者完全可以選擇對(duì)公益、非營(yíng)利項(xiàng)目繼續(xù)免費(fèi)開放。權(quán)力仍然在創(chuàng)作者手里。不管怎么說(shuō)，他們值得獲得「補(bǔ)償」。

在 Cloudflare CEO 的話里，這場(chǎng)變革的目標(biāo)是「構(gòu)建更美好的互聯(lián)網(wǎng)」?！肝覀兩胁恢浪写鸢福覀冋谂c一些頂尖的經(jīng)濟(jì)學(xué)家和計(jì)算機(jī)科學(xué)家合作尋找答案。」

目前，其他其他 CDN 和安全提供商（比如 Akamai、Fastly、Amazon CloudFront）尚未宣布類似的功能。

把 AI 爬蟲機(jī)器人擋在門外｜圖片來(lái)源： Cloudflare  

 

雖然 Cloudflare 的「Pay Per Crawl」看起來(lái)只是一個(gè) CDN 產(chǎn)品的新功能，但從某種意義上說(shuō)：

它可能成為互聯(lián)網(wǎng)走到一個(gè)分岔口的信號(hào) 。

在搜索時(shí)代，內(nèi)容的價(jià)值是通過(guò)用戶訪問轉(zhuǎn)化為廣告收益。但 AI 時(shí)代，用戶可能根本不會(huì)再點(diǎn)進(jìn)網(wǎng)站——所有答案都在聊天機(jī)器人里總結(jié)生成。是繼續(xù)讓 AI 大模型免費(fèi)挖掘網(wǎng)絡(luò)內(nèi)容，還是在數(shù)據(jù)獲取上回歸「互惠」原則，讓創(chuàng)作者獲得應(yīng)有的補(bǔ)償？補(bǔ)償又能有多少？

這個(gè)早期實(shí)驗(yàn)可能在為一個(gè)新的 AI 時(shí)代數(shù)據(jù)經(jīng)濟(jì)形態(tài)鋪路，無(wú)論成敗如何，它的立場(chǎng)很明顯：AI 不能無(wú)限透支創(chuàng)作者的耐心，并在「開放」的名義下把人的勞動(dòng)變成免費(fèi)的燃料。

「網(wǎng)絡(luò)正在發(fā)生變革，它的商業(yè)模式也將隨之改變。在這個(gè)過(guò)程中，我們有機(jī)會(huì)從過(guò)去的 30 年里學(xué)到好的地方，讓它在未來(lái)變得更好?！?/p>

至于，事情是不是能真的變好，像 Cloudflare 自己承認(rèn)的那樣：

「 這僅僅是個(gè)開始 ?！?/p>