Python爬虫入门教程 77-100 增量爬虫不得不说的故事

孰能生巧，用在技术领域在通用不过了，作为一个初学者，需要牢固的掌握技术，那必须依赖自己每日的耕耘。我是梦想橡皮擦，希望某天我们在高处相逢。

写在前面

看完标题之后，如果你对什么是增量爬虫产生了疑问，恭喜，你又将有收获了，如果你没有疑问，厉害，高手~

增量爬虫其实是一种内容爬取的叫法，增量就是增加的量，我们的爬虫当爬取完毕一个网址之后，某些网站会在原来的数据上又更新了一批，例如虎嗅的头条推荐、小说网的章节更新等等其他只要存在动态更新的网站，其实都适用于增量爬虫。

这样我们就可以给增量爬虫做一个简单的定义了：在上一次爬取的结果上再次进行爬取

编码开始

我们接下来就通过爬虫程序检测某个网站，当该网站更新时，我们进行增量爬取。

该网站是搜狗搜索平台：https://weixin.sogou.com/，可以跟踪热点新闻

增量爬虫的核心是去重

关于去重的办法其实就三种

1. 发起请求前判断该URL是否请求过
2. 解析内容之后判断内容是否获取过
3. 存储时判断内容是否已经存在

三种去重方法逻辑使用的场景也比较容易判断

1. 发起请求之前进行判断，该情况最常见，例如新闻、小说、资讯更新都可以，只要页面出现了新的链接都可以使用
2. 第二种适用于某页面数据刷新了，并未增加新的链接
3. 第三种是最后一个逻辑，入库前在做最后一次判断

去重手段

本篇博客会将爬取过程中产生的URL进行存储，核心