Python 爬虫 100 例专栏,即将售卖出 900 份啦,作为一个良心博主,我们把这 100 例在复盘一下吧。
爬虫技术,是一个时效性极强的技术体系,也是技术体系中非常有名的一门杂学,因为它需要:
- 你比前端工程师略懂一点点前端知识;
- 你比后端工程师略懂一点点数据库知识;
- 你比网络工程师略懂一点点网络协议;
- 最好你会安卓和 iOS 开发;
- 数据分析与数据挖掘要了解;
- 加密解密要懂一点点吧;
- 调度算法要懂一点点吧;
- 为了识别验证码,要求会一点点机器学习不过分吧;
- 上面都会了,分布式的架构和使用,网络底层协议,网络安全攻防是不是也应该掌握呢?
- ……
如你所愿,这是爬虫的体系。Python 爬虫 100 例专栏,只是给你打开爬虫世界的一扇门,给你发了一个邀请函,能进到这个世界,才能知道这个世界的美丽。
复盘爬虫 100 例
在 100 例中采集的目标站点,随着时间的推移,有的网站消失了,有的更新了,有的增加了反爬,有的给橡皮擦发了律师函<