爬虫
关注
分享
扫一扫
文章平均质量分 72
逆流远航
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
爬虫（性能相关）
多进程和多进程在何种情况下使用IO密集型用多线程，爬虫就是IO密集型计算密集型用多进程多线程请求（多进程类似）from concurrent.futures import ThreadPoolExecutorimport requestsimport timedef func(url): response = requests.get(url) print(url...原创 2018-12-29 23:12:11 · 313 阅读 · 0 评论 -
爬虫（scrapy框架）
scrapy框架——下载页面——解析——并发——深度安装scrapy框架Linuxpip3 install scrapyWindowsa. pip3 install wheelb. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedc. 进入下载目录，执行 pip3 install Twisted‑17....原创 2019-01-01 01:48:01 · 191 阅读 · 0 评论 -
爬虫（一）
requests模块response = requests.get(‘url’)response.contentresponse.textresponse.encodingresponse.apparent_encodingresponse.status_coderesponse.cookies.get_dict()BeautifulSoup模块from bs4 import B...原创 2018-12-26 03:33:10 · 123 阅读 · 0 评论