scrapy
关注
分享
扫一扫
doingSthing
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy学习第三篇：创建spider_redis配置文件
#启用Redis调度存储请求队列SCHEDULER = "scrapy_redis.scheduler.Scheduler" #确保所有的爬虫通过Redis去重DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" #默认请求序列化使用的是pickle 但是我们可以更改为其他类似的。PS：这玩意儿2.X的可以用。3.X的不...原创 2018-10-31 23:29:57 · 311 阅读 · 0 评论 -
scrapy学习第四篇：windows下安装scrapyd
首先安装 pip install scrapyd来进行管理scrapy项目然后安装scrapyd_client来进行部署scrapy项目至scrapyd中在scrapy项目中修改scrapy.cfg文件[deploy]url = http://localhost:6800/addversion.json然后cmd启动scrapyd接着进入项目内部进行部署scrapyd-de...原创 2018-11-01 00:08:16 · 764 阅读 · 0 评论 -
scrapy学习第一篇：环境安装
pip install setuptoolspip install lxmlpip install pyOpensslpip install scrapy 在执行安装scrapy的时候报如下错误于是离线安装，win32位的这里安装，win64位的这里安装，执行pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl然后安装pip...原创 2018-10-27 14:38:23 · 246 阅读 · 0 评论 -
scrapy学习第二篇：创建spider
使用命令scrapy startproject test1来创建第一个scrapy工程cd test1然后使用scrapy genspider -l 查看所有spider的模板然后选择basic 模板创建一个spider: scrapy genspider -t basic first www.whu.edu.cn然后进入spider目录编辑first.py文件，重写parse方法...原创 2018-10-27 15:27:17 · 505 阅读 · 0 评论