国语对白无码视频最新|久久久久人妻一区视色|国产精品制服丝袜美腿控|A v无码久久久久不卡|激情久久AV一区二区AV|制服丝袜亚洲欧美一区二区|99人妻碰碰碰久久久久禁片|亚洲国产成人无码av在线播放

問題描述：

頁面每天只有幾個(gè)IP訪問，流量卻在短時(shí)間內(nèi)消耗殆盡。

問題分析：

通過流量統(tǒng)計(jì)報(bào)告查看到百分之八十的流量都是來自蜘蛛爬蟲。

>【官方說法】百度蜘蛛抓取流量暴增的原因

解決方案：

編寫robots.txt文件上傳到網(wǎng)站根目錄中。

使用類似于“Disallow:/ 禁止允許”的規(guī)則對蜘蛛爬蟲進(jìn)行禁止。減少蜘蛛抓取對網(wǎng)頁產(chǎn)生的流量。

注意：這樣做雖然能減少不必要的流量。但是會影響到網(wǎng)頁的權(quán)重值。在設(shè)定的時(shí)候。請自行斟酌取舍。

>robots.txt文件格式及用例?