當(dāng)前，主流AI工具通過爬蟲技術(shù)直接抓取網(wǎng)站數(shù)據(jù)，以滿足用戶查詢需求。然而，這種模式導(dǎo)致用戶跳過原始網(wǎng)站、直接通過AI獲取信息，使得原網(wǎng)站的訪問量顯著下降。與此同時(shí)，AI工具的頻繁抓取反而消耗了大量服務(wù)器資源，令原網(wǎng)站面臨流量被“掏空”的困境。據(jù)網(wǎng)絡(luò)安全公司Cloudflare的統(tǒng)計(jì)，自2025年起，AI平臺的爬蟲行為對互聯(lián)網(wǎng)生態(tài)的影響愈發(fā)明顯。

Cloudflare通過追蹤大型科技公司的爬蟲請求次數(shù)與實(shí)際導(dǎo)流量的比例，提出了“抓取與回流比”這一指標(biāo)。例如，當(dāng)某平臺的抓取與回流比為100:1時(shí)，意味著其爬蟲每抓取100次內(nèi)容，僅能為原網(wǎng)站帶來1次訪問。數(shù)據(jù)顯示，Anthropic的這一比例表現(xiàn)最差，其爬蟲抓取量遠(yuǎn)超實(shí)際導(dǎo)流量；OpenAI的情況同樣不容樂觀，兩家公司均被指從互聯(lián)網(wǎng)獲取大量價(jià)值，卻未給予相應(yīng)回報(bào)。

這一現(xiàn)象并非孤立存在。2024年末，媒體Business Insider的調(diào)查也指出，Anthropic和OpenAI的爬蟲對部分網(wǎng)站的抓取頻率“異常高”，直接導(dǎo)致原網(wǎng)站的流量成本和云計(jì)算支出激增。有開發(fā)者透露，其客戶的云服務(wù)賬單因AI爬蟲活動(dòng)在數(shù)月內(nèi)翻倍，反映出AI公司不僅減少了內(nèi)容回流，還將運(yùn)營成本轉(zhuǎn)嫁給了網(wǎng)站所有者。

從內(nèi)容生產(chǎn)者到平臺運(yùn)營者，互聯(lián)網(wǎng)生態(tài)的多個(gè)環(huán)節(jié)正因AI爬蟲的普及而承受壓力。原網(wǎng)站在失去流量優(yōu)勢的同時(shí)，還需承擔(dān)更高的服務(wù)器負(fù)載；而AI公司則通過技術(shù)手段低成本獲取數(shù)據(jù)，進(jìn)一步加劇了資源分配的不平等。這一矛盾若持續(xù)發(fā)酵，或?qū)⒅厮芑ヂ?lián)網(wǎng)內(nèi)容共享的底層邏輯。