我YY的爬虫

在技术角度来看，最好的爬虫应该是一个P2P方式的通知文章更新，大家都能及时的获知文章更新，然后转告别人；

这样的话：每个做爬虫就变成了：成为p2p中的一个node，然后：将获得的更新进行选择性的响应；内容提供商，随便向一些node发出文件更新通知即可；

实时搜索就向前跨出了一大步了；

google的pubsubhubhub，为啥就没推动起来？是因为注册的人太多，广播更新代价太高？

没在搜索引擎公司呆过，不知道人家怎么做的；自己YY一个，抛砖引玉，以解我多年心头疑惑；

好吧，来点现实的爬虫吧；

就分这三个部分吧

1. 列表页发现
2. 从列表页种发现URL
3. 列表页更新周期的计算

之所以强调列表页，是为了区分普通的文本阅读页面，这两者一个是为了导航，另外一个则是为了详细阅读；当然阅读页面也能拿出URL出来，但是这不是它存在的目的；故我认为列表页才是爬虫的重点；


第一部分列表页如何发现：

1. 列表页识别算法；
2. 全站下载工具，或者自己写代码；
3. 可以利用第2步来滚雪球似的方式来发现；
   

第二部分从列表页种发现新URL：

1. 自然是下载；
2. 拿下链接；
3. 排重；

理论上来说，以上两步已经可以形成一个爬虫，但是：如果列表页非常多；第二部分执行起来就很消耗资源，于是可以对第二部分进行优化
1：下载的优化：http-head种的last-modify,etag;
2：拿下链接：html的MD5；


但是即便做了上面两个优化，肯定还是不够的，原因：
1：列表页非常多，一定有这种情况：有的一天更新很多次，有的一天更新一次，有的一周更新一次，更有的是一年才两三次（比如博客的RSS列表），所以每天都去轮询每个列表页肯定是不合理的啊