工匠若水

这一篇内容主要延续上一篇[《Python3.X 爬虫实战（先爬起来嗨）》](http://blog.youkuaiyun.com/yanbober/article/details/73162298)，重点偏向于爬虫爬取静态页面的下载器与解析器常用套路引导，主要适用于理解爬虫流程和自己编写小爬虫程序，对于大型爬虫这些介绍是十分不健壮的，我们一般会采用第三方爬虫框架，对于框架和动态页面爬取我们后面系列会进行介绍的。

缓存与持久化简单说就是 Cache 或者 Persistence 了，这玩意和爬虫有啥关系呢？想象一下如果我们需要对同一个页面进行多次解析，我们前面的代码都会重新发起真实网络请求，这是不合理的，因为短期之内这个页面是不可能有更新的，我们重复拉取是没有意义的；其次我们很多时候爬虫的输出器其实就是需要把爬取的数据依据需求多元化的持久化下来，所以我们有必要先掌握常见的爬虫相关缓存及持久化。

【工匠若水 http://blog.youkuaiyun.com/yanbober 未经允许严禁转载，请尊重作者劳动成果。私信联系我】1 背景不知不觉关于 Python 3.X 爬虫系列已经介绍了如下系列：《正则表达式基础》 《Python3.X 爬虫实战（先爬起来嗨）》 《Python3.X 爬虫实战（静态下载器与解析器）》 《Python3.X 爬虫实战（并发爬取）》 《Python3.X 爬虫实战

这一篇一下搞得有点不像在介绍并发爬虫，而成了 Python3 并发编程基础了，坑爹啊，无论怎样最后我们还是给出了两个基于 Python3 线程池、进程池的并发爬虫小案例，麻雀虽小，五脏俱全。虽然本篇对并发爬虫（Python3 并发）没有进行深入介绍，但是基本目的达到了，关于并发深入学习不是一两天的功夫，并发在大型项目中是个很有学问的东西，要走的路还有很长。

爬虫的价值就不多说了，Python 的便捷与强大也就不 BB 了，在这个数据泛滥、追求效率的时代，使用 Python 可以为我们创造相当多的便捷，Web 开发、桌面小工具开发、粘性脚本编写、大数据处理、图像处理、机器学习等等，能做到的事情实在太多。