本文介绍Scrapy爬虫的基本配置方法，包括如何设置JOBDIR来保存和恢复爬虫状态，自定义settings参数如禁用Cookies，以及如何通过设置AUTOTHROTTLE实现自动限速等功能。
1.scrapy crawl spider lagou -s JOBDIR= job_info/001 将暂停时信息保存到001 (-s是-set的意思)
1.不同的spider需要不同的目录
2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/001
3.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrapy crawl spider lagou -s JOBDIR= job_info/001 然后会继续爬取没有做完的东西
4.linux中暂停爬虫 kill-f -9 main.py -9为强制关闭的命令
5.scrapy自动限速 AUTOTHROTTLE 等设置打开
6.自定义spider的settings custom_settings = {"COOKIES_ENABLED":False}
7.telnet localhost 6023 est() 之前必须打开自己的talnet客户端
1.不同的spider需要不同的目录
2.可以在 settings 和 custome_setting 中设置 JOBDIR= job_info/001
3.ctrl-c 后就会将暂停信息保存到001 要想重新开始则 再次运行 scrapy crawl spider lagou -s JOBDIR= job_info/001 然后会继续爬取没有做完的东西
4.linux中暂停爬虫 kill-f -9 main.py -9为强制关闭的命令
5.scrapy自动限速 AUTOTHROTTLE 等设置打开
6.自定义spider的settings custom_settings = {"COOKIES_ENABLED":False}
7.telnet localhost 6023 est() 之前必须打开自己的talnet客户端
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
