Cloudflare這一舉措，實(shí)則是為了自身利益。

隨著AI聊天機(jī)器人和AI搜索愈發(fā)受用戶歡迎，AI廠商與內(nèi)容創(chuàng)作者的矛盾激化，AI時(shí)代的流量爭(zhēng)奪全面升級(jí)，“AI摘要”劫持流量讓內(nèi)容創(chuàng)作者難以接受。此時(shí)，云服務(wù)提供商Cloudflare選擇站在內(nèi)容創(chuàng)作者一邊，不久前宣布默認(rèn)阻止AI爬蟲在未獲網(wǎng)站所有者許可或補(bǔ)償?shù)那闆r下抓取內(nèi)容。

為達(dá)成此目標(biāo)，Cloudflare CEO馬修·普林斯透露正與谷歌談判，要求其將傳統(tǒng)搜索引擎爬蟲與AI爬蟲分離，使網(wǎng)站能按需決定是否屏蔽AI爬蟲，防止內(nèi)容被抓取生成AI摘要。Cloudflare稱，若谷歌拒絕分離，將考慮推動(dòng)立法強(qiáng)制其執(zhí)行。

Cloudflare有何底氣與谷歌談條件？作為CDN提供商，其競(jìng)爭(zhēng)力源于全球超152個(gè)數(shù)據(jù)中心構(gòu)成的專用高容量光纖網(wǎng)絡(luò)，能為全球用戶提供低成本甚至免費(fèi)接入公開(kāi)網(wǎng)絡(luò)的能力。目前，全球20%的互聯(lián)網(wǎng)流量經(jīng)該公司網(wǎng)絡(luò)代理，它也是全球最大規(guī)模的對(duì)等連接網(wǎng)絡(luò)（P2P網(wǎng)絡(luò)）之一。

Cloudflare網(wǎng)絡(luò)上的大量網(wǎng)站和App是其底氣，但想讓谷歌屈服并不容易。AI搜索是谷歌的未來(lái)，若AI爬蟲無(wú)法抓取內(nèi)容，其市場(chǎng)競(jìng)爭(zhēng)力將大幅下降。海外科技媒體如The Information也不看好Cloudflare，認(rèn)為它無(wú)法阻止谷歌為AI產(chǎn)品抓取網(wǎng)站數(shù)據(jù)。

而且推動(dòng)立法強(qiáng)制谷歌分離AI爬蟲耗時(shí)數(shù)年，等立法完成，很多網(wǎng)站和內(nèi)容創(chuàng)作者可能已被AI廠商沖擊得難以生存。

既然如此，Cloudflare為何要這么做？其實(shí)它是在作秀，目的是推廣自己的Pay Per Crawl平臺(tái)。

Pay Per Crawl是Cloudflare推出的交易市場(chǎng)，為內(nèi)容創(chuàng)作者和AI廠商提供交易撮合服務(wù)。早在一年前，Cloudflare就為使用其服務(wù)的網(wǎng)站提供AI審計(jì)工具 (Cloudflare AI Audit) ，報(bào)告AI廠商爬蟲訪問(wèn)網(wǎng)站的情況。

交易平臺(tái)成功的關(guān)鍵是買賣雙方認(rèn)可。目前，內(nèi)容創(chuàng)作者和網(wǎng)站站長(zhǎng)對(duì)Pay Per Crawl需求迫切，但AI廠商卻不積極。

當(dāng)前，普通網(wǎng)站難以抵御AI爬蟲抓取，“軟約束”的robots.txt形同虛設(shè)。AI將內(nèi)容濃縮為摘要，使用戶無(wú)需點(diǎn)擊原文，導(dǎo)致網(wǎng)站流量和廣告收入減少。

Cloudflare本月初數(shù)據(jù)顯示，谷歌搜索爬蟲約6至7次抓取帶來(lái)1次點(diǎn)擊，OpenAI的GPTBot 1500次抓取才有1次跳轉(zhuǎn)，Anthropic的ClaudeBot效率更低，73300次換1次。可見(jiàn)，AI大廠與內(nèi)容創(chuàng)作者基于內(nèi)容創(chuàng)作、分發(fā)和廣告/訂閱收入的商業(yè)模式已受沖擊。

習(xí)慣免費(fèi)爬取內(nèi)容的AI廠商即便想付費(fèi)，也不愿讓Cloudflare賺差價(jià)。為應(yīng)對(duì)AI搜索對(duì)網(wǎng)站的沖擊，谷歌推出Offerwall工具，讓站長(zhǎng)為用戶提供多種內(nèi)容訪問(wèn)方式，如小額支付、參與調(diào)查、觀看廣告等。

與按次付費(fèi)的Pay Per Crawl不同，Offerwall通過(guò)網(wǎng)站向用戶兜售小額支付獲得內(nèi)容訪問(wèn)權(quán)或通過(guò)激勵(lì)廣告變現(xiàn)。簡(jiǎn)言之，Cloudflare選擇流量變現(xiàn)模式，谷歌則采用付費(fèi)訂閱模式。

顯然，流量變現(xiàn)和付費(fèi)訂閱是相互排斥的。內(nèi)容創(chuàng)作者不能將一份內(nèi)容賣兩次，選Offerwall就意味著放棄Pay Per Crawl。所以，Cloudflare為推廣Pay Per Crawl，要讓更多人知道它在為內(nèi)容創(chuàng)作者“主持公道”。

【本文圖片來(lái)自網(wǎng)絡(luò) 】

本文來(lái)自微信公眾號(hào) “三易生活”（ID：IT-3eLife），作者：三易菌，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com