- 博客(1)
- 收藏
- 关注
RSS订阅原创 Scrapy框架设置动态UserAgent和IP地址池遇到的巨坑
Scrapy设置动态User-Agent时遇到的巨坑 今天带着开心的心情去爬取豆瓣所有的电影，然而，在第一次IP被封了的时候设置动态User-Agent后就一直出现302或者连接拒绝一系列的问题，搞了一天，最后终于发现，是在写下载中间类的时候取名出错，真是蛋疼！！！能想象吗，就是一个不怎么写博客的人被生生气到写博客来发泄，WTF，一天就这么没了！！！ 写完类后记得在setting里开启DOWNL...
2019-06-17 23:41:04
690
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人