Scrapy 发送Request Payload

最新推荐文章于 2024-10-16 22:23:24 发布

原创最新推荐文章于 2024-10-16 22:23:24 发布 · 493 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#json

本文介绍了如何利用Scrapy框架进行网络数据抓取。通过示例展示了使用Json作为请求体和响应解析的方法，包括POST请求设置、Json数据序列化、请求头配置以及回调函数的使用。

首先要打开 F12 进入调试模式然后查看是用什么方法获取的

如果是Json：

yield Request(

    url="xxxxx.com",

    method="POST",

    body=json.dumps(data),

    headers={'Content-Type': 'application/json'},

    callback=self.parse_json,

)

如果是其他方式比如 ajax

           yield scrapy.Request(
                method="POST",
                url="xxx.com",
                headers={
                    'Ajax-method': 'AjaxMethodFactory',
                },
                body="你需要写入的Request Playload",
                callback=self.parse,
            )