pynickle的博客

欢迎来到爬虫高级兼实战教程，打开你的IDE，开始python之旅吧！ 中华英才网爬虫 在讲完python爬虫基础知识后，我们开始进行实战，在实战中我们会借实例来讲解爬虫的高级知识，爬虫程序已经公布于 https://github.com/code-nick-python/yingcaiwang-spider 在这个实例中，涉及到多线程threading和queue，分布式redis，接下来废话不多...

欢迎来到爬虫高级兼实战教程，打开你的IDE，开始python之旅吧！ threading模块

欢迎来到爬虫高级兼实战教程，打开你的IDE，开始python之旅吧！ queue模块

欢迎来到爬虫高级兼实战教程，打开你的IDE，开始python之旅吧！ redis数据库 redis也是一种数据库，我们用到他的一个数据类型，也就是list列表来进行我们的分布式爬虫，接下来截取部分代码进行解析： #引入redis库 from redis import Redis #用来把网址放进列表里的函数 def push_redis_list(): #连接redis数据库 ...

我的优快云高级爬虫知识兼实例教程： 中华英才网爬虫程序解析（1）-基础的爬虫程序实现 中华英才网爬虫程序解析（2）-多线程threading模块 中华英才网爬虫程序（3）-queue和threading模块的结合使用 中华英才网爬虫程序解析（4）-分布式爬虫redis github源码地址：https://github.com/code-nick-python/yingcaiwang-spide...