scrapy Post 发送数据是我们通常会用
yield scrapy.FormRequest(
url = url,
formdata = {"email" : "xxx", "password" : "xxxxx"},
callback = self.parse_page
)来发送请求,但这是发送header为
'Content-Type', 'application/x-www-form-urlencoded
的数据,有时候我们做一些爬虫,会post发送json数据,否则不能返回正确的结果,如果直接用request很方便,但在scrapy里就需要这样用
yield Request(url, method="POST", body=json.dumps(data), headers={'Content-Type': 'application/json'},callback=self.parse_json)这样就可以发送json 数据了
本文介绍了在Scrapy中如何进行POST请求并发送JSON数据。通常情况下,Scrapy用于发送常规header的数据,但某些情况下,特别是需要正确响应时,必须以JSON格式发送POST数据。虽然使用requests库直接操作会更简单,但在Scrapy框架内,实现这一功能的方法略有不同。
1074

被折叠的 条评论
为什么被折叠?



