爬虫
关注
分享
扫一扫
文章平均质量分 92
小二丶上酒
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
基本通用爬虫（链家）
# 基本思路：# 创建2个队列：页码队列和解析队列# 2种线程：# 爬虫线程：负责从页码队列中取出页码，拼接url，爬虫数据，存入解析队列# 解析线程：负责从解析队列中提取需要的数据，并写入文件# 注意使用队列锁来保证队列中的元素都被取完import reimport jsonimport queueimport randomimport requestsfrom time...原创 2019-09-05 20:59:58 · 1110 阅读 · 0 评论 -
接口简单爬虫（ 智联招聘）
智联招聘 接口地址https://fe-api.zhaopin.com/c/i/sou?pageSize=90&cityId=765&kw=python&start=0import csvimport jsonimport requestsimport jsonpathimport reimport timeimport sslfrom urllib.er...原创 2019-09-05 21:23:16 · 1515 阅读 · 2 评论