scrapy使用cookie和form表单模拟登陆

使用场景：

有一些页面，必须要在登陆情况下才能展示，比如个人页面。当用户登陆成功后，会在浏览器端保存一个cookie的值，有了这个值，就可以不用每次都进行登陆，就可以直接访问个人页面了。

具体步骤如下：

修改settings：

代码：

USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.95 Safari/537.36"


# Obey robots.txt rules
# ROBOTSTXT_OBEY = True

进入某一个网站：

登陆后，进入个人页面：（假设我想获取余额这个值）

打开F12.,获取cookie：复制下来

新建爬虫文件：（将cookie放在temp中，并且循环得到 json格式的内容并通过scrapy