scrapy框架中cookie的设置路径

总的来说，scrapy框架中设置cookie有三种方式。

第一种：setting中设置cookie

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie

所以当我使用settings的cookie的时候，又把COOKIES_ENABLED设置为True，scrapy就会把settings的cookie关闭，

而且我也没使用自定义cookie，导致整个请求根本没有cookie,导致获取页面失败。

总结：

如果使用自定义cookie就把COOKIES_ENABLED设置为True

如果使用settings的cookie就把COOKIES_ENABLED设置为False

第二种：middlewares中设置cookie

在middlewares中的downloadermiddleware中的process_request中配置cookie，配置如下：

request.cookies={

'':'',

'':'',

}

等等。里面的cookie内容要以键值对的形式存在。

第三种：在spider爬虫主文件中，重写start_request方法，

return [FormRequest("http://qgc.qq.com/309o916014x/",cookies=cookies,callback=self.parse)]

同时还要在setting中启动：

ROBOTSTXT_OBEY=False