爬虫
关注
分享
扫一扫
文章平均质量分 75
爱搬砖的小迷糊
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapyd部署爬虫项目
项目的环境 windows10系统 python版本:3.6.5 1.安装scrapy项目需要使用到的包 -- scrapyd 打开cmd命令行，输入pip install scrapyd ,回车 安装完成，如果想要查看所有的包中是否有scrapyd包，输入pip list ,回车 确定安装完成后，输入scrapyd可以启动scrapyd服务 启动服务后不要关闭cmd...原创 2018-09-27 11:53:21 · 504 阅读 · 0 评论 -
基于scrapy_redis部署scrapy分布式爬虫
1.使用cmd命令窗口下载工具包 scrapy_redis 2.使用PyCharm打开你的scrapy爬虫项目，找到settings.py文件，配置scrapy爬虫项目使用的调度器及过滤器 3.修改spiders目录下的爬虫文件 4.如果你的scrapy爬虫项目连接的有远程服务，例如MySql数据库，Redis数据库等，需要将远程服务连接开启，保证在其他的主机上能够成功连...原创 2018-09-29 21:13:28 · 403 阅读 · 0 评论