超级会员免费看
博客汇总了Python爬虫遇到的问题，包括分布式爬虫slave端启动Scrapy Redis的sudo需求，解决Redis保护模式拒绝连接的步骤，处理ConnectionLost错误的方法，Ubuntu16下安装Chrome浏览器的教程，以及如何安装和匹配chromedriver，指出phantomjs在chrome无头模式下已过时。
@分布式爬虫的slave端找不到scrapy_redis：
- 运行slave端时使用：sudo scrapy crawl spidername，或sudo scrapy runspider mycrawler_redis.py，总之sudo一下；
- 没sudo居然报找不到模块…没道理，蛋疼啊；
@分布式爬虫尝试连接远程redis被拒：
- 报错：redis.exceptions.ResponseError: DENIED Redis is running in protected mode…：
- 解决：https://www.cnblogs.com/nzbbody/p/6389619.html
@爬虫报连接丢失错误
- 报错：twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion.
- 被反爬了，要配置请求头或IP代理
@ubuntu16下安装chrome浏览器：
订阅专栏 解锁全文
扫一扫
860
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
