scrapy-如何在CrawlSpider进行模拟登陆

最新推荐文章于 2025-03-18 13:37:40 发布

没离开过_MW

最新推荐文章于 2025-03-18 13:37:40 发布

阅读量717

点赞数

分类专栏： python 爬虫

本文链接：https://blog.youkuaiyun.com/Keep_on_Growing/article/details/82795062

版权

本文介绍如何在Scrapy的CrawlSpider中实现模拟登录，通过实例代码展示登录过程，帮助开发者理解并掌握在爬虫中处理登录的技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

因为CrawlSpider和Spider一样，都要使用start_requests发起请求，用从Andrew_liu大神借鉴的代码说明如何模拟登陆：

##替换原来的start_requests，callback为
def start_requests(self):
    return [Request("http://www.zhihu.com/#signin", meta = {'cookiejar' : 1}, callback = self.post_login)]
def post_login(self, response):
    print 'Preparing login'
    #下面这句话用于抓取请求网页后返回网页中的_xsrf字段的文字, 用于成功提交表单
    xsrf = Selector(response).xpath('//input[@name="_xsrf"]/@value').extract()[0]
    print xsrf
    #FormRequeset.from_response是Scrapy提供的一个函数, 用于post表单
    #登陆成功后, 会调用after_login回调函数
    return [FormRequest.from_response(response,   #"http://www.zhihu.com/login",
                        meta = {'cookiejar' : response.meta['cookiejar']},
                        headers = self.headers,
                        formdata = {
                        '_xsrf': xsrf