求助！使用代理ip,request访问成功，用scrapy访问，无法访问

豆芽儿1707

于 2018-12-25 16:38:26 发布

阅读量2.5k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：求助文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_43867737/article/details/85250385

求助专栏收录该内容

2 篇文章

订阅专栏

本文探讨了使用Python的requests库访问anjuke网站时遇到的问题，详细描述了如何在中间件中设置代理IP池，以及在请求头中设置User-Agent。尽管能够成功访问网站，但在尝试通过代理访问时遇到了挑战，即使设置了cookie也无法解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网站地址 https://www.anjuke.com/sy-city.html

使用 request 访问，返回信息正常，没有问题。

response = requests.get('https://www.anjuke.com/sy-city.html',proxies=116.226.159.70:8060, timeout=2,headers=headers)

在middlewares 中添加代理ip 池。
进行访问

class RandomMiddleware(object):
    def process_request(self, request, spider):
        request.headers['User-Agent'] = get_ua()
        # proxy = random.choice(PROXY_LIST)
        # print(proxy)
        request.meta['proxy'] = 'https://'+'116.226.159.70:8060'
        print(request.meta)

就没有反应了。。。？？？怎么回事呢
该网站设置了cookie 可是，我把cookie打开或者关上都没有用啊。