
python爬虫
文章平均质量分 71
不犹豫~不后悔
这个作者很懒,什么都没留下…
展开
-
使用scrapy框架爬腾讯网时向其中引入 Queue模块所遇到问题
最近工作有点愉快, 终于对python scrapy爬虫框架用到吐血,并不是对这个框架功能彻底用透了, 而是对一下普通流水性代码的重复已经腻无力吐槽, 于是慢慢往框架中加入不一样使用方式. 本次博文是在使用scrapy框架爬取腾讯网新闻, 手动加入自定义的队列(from queue import Queue) , 用来保存url请求字符串的字典参数, ...原创 2018-10-29 16:34:24 · 427 阅读 · 0 评论 -
简单自实现scrapy爬虫的框架yield 数据处理
功能描述:捕获yield数据, 如果是字典对象或数据类型, 打印该信息;如果是请求对象,则发送该请求并打印响应结果实现关键: 装饰器coding=utf-8import requestsimport urllib.requestimport urllibname_list = [‘zhangsan’, ‘lisi’, ‘wangwu’, ‘zhaoliu’]age_list = [2...原创 2018-10-26 15:59:08 · 701 阅读 · 0 评论