Python多线程爬取表情包

多线程爬取表情包

有一个网站，叫做“斗图啦”，网址是：https://www.doutula.com/。这里面包含了许许多多的有意思的斗图图片，还蛮好玩的。有时候为了斗图要跑到这个上面来找表情，实在有点费劲。于是就产生了一个邪恶的想法，可以写个爬虫，把所有的表情都给爬下来。这个网站对于爬虫来讲算是比较友好了，他不会限制你的headers，不会限制你的访问频率（当然，作为一个有素质的爬虫工程师，爬完赶紧撤，不要把人家服务器搞垮了），不会限制你的IP地址，因此技术难度不算太高。但是有一个问题，因为这里要爬的是图片，而不是文本信息，所以采用传统的爬虫是可以完成我们的需求，但是因为是下载图片所以速度比较慢，可能要爬一两个小时都说不准。因此这里我们准备采用多线程爬虫，一下可以把爬虫的效率提高好几倍。

一、分析网站和爬虫准备工作：
构建所有页面URL列表：

这里我们要爬的页面不是“斗图啦”首页，而是最新表情页面https://www.doutula.com/photo/list/，这个页面包含了所有的表情图片，只是是按照时间来排序的而已。我们把页面滚动到最下面，可以看到这个最新表情使用的是分页，当我们点击第二页的时候，页面的URL变成了https://www.doutula.com/photo/list/?page=2，而我们再回到第一页的时候，page又变成了1，所以这个翻页的URL其实很简单，前面这一串https://www.doutula.com/photo/list/?page=都是固定的，只是后面跟的数字不