ip代理
关注
分享
扫一扫
Urila
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
使用ip代理池爬虫时，requests模块get请求出现问题_AttributeError: 'str' object has no attribute 'get'
问题描述：项目使用ip代理池对网页进行数据爬取，但是requests模块get方法出现问题，出错如下： File "E:\project\venv\lib\site-packages\requests\api.py", line 75, in get return request('get', url, params=params, **kwargs) File "E:\pro...原创 2018-12-17 12:51:33 · 9058 阅读 · 0 评论 -
scrapy_Atwisted.web.error.SchemeNotSupported: Unsupported scheme: b''错误及解决
问题描述：在middleware中使用ip代理的时候，报错如下2019-01-05 21:16:15 [scrapy.core.scraper] ERROR: Error downloading <GET http://httpbin.org/ip>Traceback (most recent call last): File "e:\anaconda3\lib\sit...原创 2019-01-05 21:26:33 · 3432 阅读 · 0 评论 -
scrapy_由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。错误及解决
问题描述：在使用scrapy的middleware使用ip代理的时候，也给代理添加了"https://"或者"http://", 但还是报错了(之前还是好好的)报错如下：2019-01-05 21:46:44 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://httpbin.org/ip> (...原创 2019-01-05 22:07:11 · 25917 阅读 · 2 评论