尤物精品在线 I 2023国产精品 I 久日精品视频 I 五月天丁香 I 国产太嫩了在线观看 I 亚洲1区在线观看 I 老熟女强人国产在线播放 I 波多野结衣初尝黑人 I 秋霞在线一区 I 日日噜噜夜夜狠狠视频免费 I 天天综合色网 I www日本免费 I 青青青国产视频 I 国产成人欧美一区二区三区的 I 成人爱爱网 I 日韩人妻无码一区二区三区综合部 I 无码人妻丰满熟妇区免费 I 欧美三级久久久 I 性色av无码中文av有码vr I 成人无码看片在线观看免费 I 国产日韩一区 I 中文字幕488页在线 I 日本亚洲欧洲色α在线播放 I 日本精品一区二区三区在线观看视频 I 人妻系列影片无码专区 I 无码人妻巨屁股系列 I 99国产欧美久久久精品蜜芽 I 国产日产欧产精品精乱了派 I 夜夜高潮夜夜爽高清完整版1 I 日韩 欧美 中文 I 亚洲区成人 I 真人三级三级97片毛片 I 日本搞b视频 I 丰满老妇被粗大猛烈进人高清 I 亚洲综合 欧美

問題場景：客戶使用虛擬主機，網(wǎng)站被搜索引擎爬蟲訪問耗費大量流量和帶寬，如何處理

解決方法：可以通過在站點根目錄下創(chuàng)建Robots.txt，Robots.txt文件是網(wǎng)站的一個文件，搜索引擎蜘蛛抓取網(wǎng)站首先就是抓取這個文件，根據(jù)里面的內(nèi)容來決定對網(wǎng)站文件訪問的范圍。它能夠保護我們的一些文件不暴露在搜索引擎之下，從而有效的控制蜘蛛的爬取路徑。

1、首先，先了解一下目前搜索引擎和其對應的User-Agent，如下：

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼：

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項：1)三個目錄要分別寫。
2)請注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區(qū)別。
例6. 允許訪問特定目錄中的部分url
實現(xiàn)a目錄下只有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/