看个毛片_手机成人在线视频_国产99久久精品一区二区永久免费_啪啪免费_a4yy午夜_欧美成年视频

虛擬主機(jī)被搜索引擎爬蟲(chóng)訪問(wèn)耗費(fèi)大量流量解決方法

日期:2016/8/3 / 人氣:

問(wèn)題場(chǎng)景:客戶(hù)使用虛擬主機(jī),網(wǎng)站被搜索引擎爬蟲(chóng)訪問(wèn)耗費(fèi)大量流量和帶寬,如何處理

解決方法:可以通過(guò)在站點(diǎn)根目錄下創(chuàng)建Robots.txt,Robots.txt文件是網(wǎng)站的一個(gè)文件,搜索引擎蜘蛛抓取網(wǎng)站首先就是抓取這個(gè)文件,根據(jù)里面的內(nèi)容來(lái)決定對(duì)網(wǎng)站文件訪問(wèn)的范圍。它能夠保護(hù)我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑。

1、首先,先了解一下目前搜索引擎和其對(duì)應(yīng)的User-Agent,如下:

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼:

例1. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問(wèn)網(wǎng)站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問(wèn)您的網(wǎng)站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問(wèn)特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項(xiàng):1)三個(gè)目錄要分別寫(xiě)。
2)請(qǐng)注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區(qū)別。
例6. 允許訪問(wèn)特定目錄中的部分url
實(shí)現(xiàn)a目錄下只有b.htm允許訪問(wèn)
User-agent: *
Allow: /a/b.htm
Disallow: /a/

 

作者:朋友圈科技


Go To Top 回頂部
主站蜘蛛池模板: 狠狠操网址 | 成人欧美一区二区三区白人 | 久久精品欧美视频 | 亚洲成人三级 | 国产成人在线免费观看 | 波多野结衣hd系列在线播放 | 国产成人精品久久二区二区 | 天堂在线最新资源 | 国产手机在线国内精品 | aiai在线观看 | 久久无码欧美一二三区 | 亚洲va欧美va天堂v国产综合 | 免看一级a毛片一片成人不卡 | 久久中文视频 | 亚洲国产成人久久综合碰碰动漫3d | 日韩欧美精品一区二区三区 | 欧美色欧美亚洲另类七区 | 天天干天天色综合网 | 高清视频一区二区三区 | se94se亚洲欧美在线 | 亚洲一区二区三区久久精品 | 久久婷婷五综合一区二区 | 日本三级黄色网址 | 成人网欧美亚洲影视图片 | 成人一区二区在线观看 | 在线播放国产一区二区三区 | 操碰视频在线观看 | 毛片天天看 | 爱爱免费视频 | 欧美日韩国产深夜福利视频 | 中文字字幕一区二区三区四区五区 | 99精品国产高清一区二区麻豆 | 天天综合天天综合色在线 | 亚洲最大色视频 | 国产乱码精品一区二区三 | 国产欧美亚洲精品第一页青草 | 亚洲一区二区三区四区五区午夜 | 亚洲精品日韩一区二区电影 | 天天爽夜夜爽精品视频一 | 精品欧美一区二区三区久久久 | 日本精品一区二区三区视频 |