搜索引擎Spider特性

Spider即网络蜘蛛，是搜索引擎抓取网页的一种程序，在抓取网页时，Spider类似于用户一页一页的访问页面，查看页面信息，分析页面信息，保存页面信息。

理解Spider的特性，可以更好的理解搜索引起抓取网页的方式，更好的做网站优化。

Spider的特性如下：

1.Spider是一种程序，而且算法复杂。

2.Spider在抓取网页时，需要有一个入口点。

3.Spider在索引网站时，常采用深度优先，广度优先，或重要内容有限。

4.Spider可以分辨网页是否有隐藏内容，是否有不被用户看到的内容。

5.Spider抓取网页时没有referer

6.Spider抓取网页时没有cookie

7.如果没有进行特殊设置，Spider对后台页面无法抓取，如用户登录后才能浏览的页面。

8.Spider通过复杂的算法可以基本判断出网站内容是否为原创。

9.Spider对动态页面抓取不友好，静态页面相对友好些。

10.Spider经常访问网站，可以说明搜索引擎对网站重视。

11.baidu Spider有分类，如门户Spider,普通Spider,低权重Spider,沙盒Spider。