使用robots.txt对搜索引擎蜘蛛限速_robots.txt 限速设置-优快云博客

http://www.netpu.net
网普科技版权所有，转载请注明作者和出处并保持文章原貌
（网普科技优质美国主机、美国Linux虚拟主机服务）

原文地址
http://bbs.netpu.net/viewthread.php?tid=3597

问题提出

最近一些客户提出，搜索引擎蜘蛛(Googlebot、Yahoo Slurp、MSNBot等)抓取站点内容过于频繁，导致用户站点流量激增，咨询我们有什么解决办法。

正好前一阶段我们也对相同问题进行过一些调研，所以把这部分内容整理一下，与大家分享一下，希望能为遇到相同问题的朋友提供一些参考。

处理思路

一般遇到和蜘蛛相关的问题，往往有几种思路处理：
1：在spider的官方站点进行一些相应的设置(比如google webmaster)
2：在.htaccess中禁止某些spider的访问
3：在网页中嵌入robots相关的标签
<meta name="robots" content="xxxxxx">
<meta name="revisit-after" content="7 days">
4：使用robots.txt

每种方式都有不同的应用范围以及效果。简单来说:

方式一比较麻烦，而且并不是所有的搜索引擎都提供这样的设置功能，也许有，但至少找起来很费力。（注1）

方式二比较粗暴，我们还是希望搜索引擎收录我们的网站呢，如果都屏蔽掉了，很难想象后果

方式三比较低效，首先要改所有的页面，就要累死人了。而且这个要索引一次后才会有效。

方式四效果如何呢？如果能够对搜索引擎的访问进行速度限制，那么即能让我们的站点被收录，又能防止资源过度占用以及流量过度消耗，那么将会是多么美好的事情。OK，我们继续

再说robots.txt

我们之前一篇文章简单介绍过robots.txt，朋友们可以参考
两个最常见的“404错误”以及解决方法
直接链接：http://bbs.netpu.net/viewthread.php?tid=3534

以下是相关的内容片断：

CODE: [Copy to clipboard]

搜索引擎使用程序自动遍历整个站点来索引页面。我们通常把这类程序叫做web robots(或者 Web Wanderers, Crawlers, or Spiders)。

我们可以通过/robots.txt文件来指示web robots的动作（包含但不限于禁止web robot访问某些内容）。这个叫做”The Robots Exclusion Protocol“。

简单地说，它的工作方式大致如下：
1：web robot欲访问一个站点上的内容
2：web robot首先访问站点根目录的robots.txt文件
3：web robot分析robots.txt中的指令
4：web robot根据指令去访问站点内容

那么如何使用robots.txt来达到对搜索引擎蜘蛛进行限速的目的呢？

通过对robots.txt相关资料的学习，我们发现以下以下指令：

Crawl-delay directive

CODE: [Copy to clipboard]

Several major crawlers support a Crawl-delay parameter, set to the number of seconds to wait between successive requests to the same server:

User-agent: *
Crawl-delay: 10

另外在Extended standard中，新增了Visit-time以及 Request-rate等指令，用户可以参考以下内容：

CODE:    [Copy to clipboard]

An Extended Standard for Robot Exclusion has been proposed, which adds several new directives, such as Visit-time and Request-rate. For example:

User-agent: *
Disallow: /downloads/
Request-rate: 1/5       # maximum rate is one page every 5 seconds

Visit-time: 0600-0845    # only visit between 06:00 and 08:45 UTC (GMT)

我们推荐用户使用Crawl-delay来进行限速。

其它事项

根据我们的调查yahoo和bing都支持Crawl-delay指令：
http://search.help.cn.yahoo.com/h4_5.html
http://www.blogsdna.com/4361/how-to-delay-bing-msnbot-crawling-for-your-website-with-robotstxt.htm

(注1)
google貌似以前支持Crawl-delay，但是后来取消了对这个的支持
所以对google的蜘蛛限速还是要通过Google Webmaster tools。

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620

CODE: [Copy to clipboard]

To change the crawl rate:

On the Webmaster Tools Home page, click the site you want.
Under Site configuration, click Settings.
In the Crawl rate section, select the option you want.

The new crawl rate will be valid for 90 days.

结束语

如何让搜索引擎更好的收录和索引网站是一个复杂的话题。
以上内容仅仅针对如何对搜索引擎限速做了一些探讨，权且当作抛砖引玉。
如有错漏之处，望诸位朋友不吝赐教。

参考资料
http://www.robotstxt.org/
http://en.wikipedia.org/wiki/Robots_exclusion_standard
http://www.google.com/support/webmasters/bin/search.py?ctx=en%3Asearchbox&query=robots.txt+
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620
http://search.help.cn.yahoo.com/h4_5.html
http://www.blogsdna.com/4361/how-to-delay-bing-msnbot-crawling-for-your-website-with-robotstxt.htm

http://www.netpu.net
网普科技版权所有，转载请注明作者和出处并保持文章原貌
（网普科技优质美国主机、美国Linux虚拟主机服务）