<br />因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。<br /><br />一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写

出于SEO、PR值传递、网址转换的目的，在网站初建和网站迁移时我们都需要使用301重定向，通常包括域名对域名，目录对目录和一个独立网址对另一个独立网址的重定向。在bluehost虚拟主机上作301重定向，最常用的方法有2种：1.直接编辑.htaccess。2.用cPanel设定。实质二者都是修改文件.htaccess，只是前者手工编辑，后者是由cPanel完成。用cPanel操作相当简单，登陆你的