jujuchen的专栏

由于IP的D段蜘蛛占用比较多，所以用*替代，并不是所有D段都是蜘蛛的IP－－－－－－－－－－－－－百度－－－－－－－－－－－－－61.135.145.*61.135.146.*159.226.50.*202.108.11.*202.108.22.*202.108.23.*202.108.249.*202.108.250.*220.181.19.*－－－－－－－－－－－－－雅虎中国－－－－－－－－－

Baidu:     Baiduspider+(+http://www.baidu.com/search/spider.htm)Yahoo:    Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)Google:   Mozilla/5.0 (compatible; Googlebot/2

上周末豆瓣的阿北给我电话：最近你们雅虎的蜘蛛（Yahoo! Slurp）对豆瓣网的抓取频度非常高，导致服务器的速度有些慢，如何才能让Slurp降低抓取频度呢？我首先想到的建议是在网站的robots.txt中增加Crawl-delay: 设置，这个设置是目前Slurp独有的，用来告诉Slurp蜘蛛2次访问之间的间隔，单位是秒。剩下的问题就是Crawl-delay的值该设置多大，这个要看网站自

 百度 baidu.com----Baiduspider　　http://www.baidu.com/search/spider.htm　　谷歌 google.com----Googlebot　　http://www.google.com/bot.html 中文版请打开以下页面　　http://www.google.cn/support/webmasters/bin/topic.p

如果你是一个坚定的NOD32er，经常为NOD32的ID或者升级服务器过期、失效而烦恼的话，那么本文可以帮助你~ 一般我们的NOD32的升级服务器失效后，大部分朋友都会想到去百度上再搜一个，但此时就会遇到搜到大量的所谓最新升级服务器都通通不能用的情况，这让我们产生极大的挫折感…… 其实我们可以换一个思路，我们既然可以用搜索引擎搜索别人的网站博客去看别人整理的升级服务器列表，能不能自