Scrapy爬取知乎用户信息遇见的问题

首先在将ROBOTSTXT_OBEY设置成False之后运行爬虫进行测试，发现错误，错误码为500.

经检查发现是缺少User-Agent.

在setting中找到DEFAULT_REQUEST_HEADERS,添加上User-Agent.

再次运行爬虫，爬取成功。

然后进行个人主页爬取，再次发现错误，错误码为401

查询后发现是缺少请求头authorization,回到DEFAULT_REQUEST_HEADERS，加上authorization参数。

此时运行爬虫程序，爬取成功，爬取到json格式的文本。