Python爬虫之模拟POST请求

最新推荐文章于 2023-12-01 20:00:00 发布

置顶 weixin_43212852

最新推荐文章于 2023-12-01 20:00:00 发布

阅读量1.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：爬虫 python

本文链接：https://blog.youkuaiyun.com/weixin_43212852/article/details/105388566

python 同时被 2 个专栏收录

5 篇文章

订阅专栏

爬虫

4 篇文章

订阅专栏

本文深入探讨了HTTP POST请求的不同类型，包括application/x-www-form-urlencoded、multipart/form-data、application/json和text/xml，并介绍了如何使用Python的Flask框架和requests模块处理这些请求。同时，文章提供了详细的请求报文样式和示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

POST

HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据，本文主要讨论 POST 提交数据的几种方式。
协议规定 POST 提交的数据必须放在消息主体（entity-body）中，但协议并没有规定数据必须使用什么编码方式。实际上，开发者完全可以自己决定消息主体的格式，只要最后发送的 HTTP 请求满足上面的格式就可以。

Content-type

在POST请求中，可以在请求头中添加Content-Type来告诉服务器发送参数的数据格式，Content-Type的值有一下几种：

application/x-www-form-urlencoded

默认地，表单数据会编码为 “application/x-www-form-urlencoded”。提交的参数会以键值对的形式添加到请求体中，多个参数之间以 & 分隔，如果参数中有空格，空格会被转换为 + 号。

请求报文样式

User-Agent: PostmanRuntime/7.24.0
Accept: */*
Cache-Control: no-cache
Postman-Token: a84e25d1-54de-4fa3-8781-f3dc6da2f2f3
Host: 127.0.0.1:5000
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Content-Type: application/x-www-form-urlencoded
Content-Length: 18

test=123&wd=python

multipart/form-data

这种方式一般用来上传文件，各大服务端语言对它也有着良好的支持。
上面提到的这两种 POST 数据的方式，都是浏览器原生支持的，而且现阶段标准中原生表单也只支持这两种方式（通过元素的 enctype 属性指定，默认为 application/x-www-form-urlencoded。其实 enctype 还支持 text/plain，不过用得非常少）。

请求报文样式

POST /add HTTP/1.1
User-Agent: PostmanRuntime/7.24.0
Accept: */*
Cache-Control: no-cache
Postman-Token: d6cbddb6-da87-445e-8572-7216f7b9ba6f
Host: 127.0.0.1:5000
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Content-Type: multipart/form-data; boundary=--------------------------642707373735716793959484
Content-Length: 11185

----------------------------postman
Content-Disposition: form-data; name="name"

fire
----------------------------postman
Content-Disposition: form-data; name="password"

123456
----------------------------postman
Content-Disposition: form-data; name="file"; filename="ex2.doc"

<ex2.doc>
----------------------------postman--

application/json

application/json 这个 Content-Type 作为响应头大家肯定不陌生。实际上，现在越来越多的人把它作为请求头，用来告诉服务端消息主体是序列化后的 JSON 字符串。由于 JSON 规范的流行，除了低版本 IE 之外的各大浏览器都原生支持 JSON.stringify，服务端语言也都有处理 JSON 的函数，使用 JSON 不会遇上什么麻烦。

请求报文样式

POST /add HTTP/1.1
Content-Type: application/json
User-Agent: PostmanRuntime/7.24.0
Accept: */*
Cache-Control: no-cache
Postman-Token: d9150983-c9c9-4d95-a946-fa24ee66140d
Host: 127.0.0.1:5000
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Content-Length: 37

{"user":"root","pwd":123456,abc:5436}

text/xml

它是一种使用 HTTP 作为传输协议，XML 作为编码方式的远程调用规范。

请求报文样式

POST /add HTTP/1.1
Content-Type: text/xml
User-Agent: PostmanRuntime/7.24.0
Accept: */*
Cache-Control: no-cache
Postman-Token: 60ce6454-9f0e-49b5-831a-75d07b24fe53
Host: 127.0.0.1:5000
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Content-Length: 122

<note>
<to>Tove</to>
<from>Jani</from>
<heading>Reminder</heading>
<body>Don't forget me this weekend!</body>
</note>

flask 获取参数的几种方式方式

request.args

用于获取GET请求url中的参数，返回的是一个字典集合，可以以字典的方式直接使用。

request.form

主要用于获取以表单方式提交时，当请求头中content-type为application/x-www-form-urlencoded和multipart/form-data，返回的是一个字典集合，可以以字典的方式直接使用。

request.values

可以获取获取GET请求url中的参数，也可以获取表单中的数据，返回的也是一个字典集合。

request.data

可以获取 text/xml、application/json，都是二进制流。
无法获取multipart/form-data、application/x-www-form-urlencoded。

request.get_json()

可以获取 text/xml、application/json，都是二进制流。
无法获取multipart/form-data、application/x-www-form-urlencoded。

Python 中 requests 模块提交 POST 参数的几种方式：

提交 application/x-www-form-urlencoded 格式的参数：

data = {"user":"yintao", "pwd":"123456"}
requests.post(url=url, data=data)

提交 multipart/form-data 格式的参数，需要借助一个第三方模块 requests_toolbelt 来对参数进行封装：

from requests_toolbelt import MultipartEncoder

# 用MultipartEncoder函数对参数进行编码
# 如果要POST文件，需要用元组上传文件信息
# 元组格式：(文件名, 文件二进制流, "application/octet-stream")

data = MultipartEncoder({
    "user":"yintao",
    "pwd":"123456",
    "file":("image", open(r"C:\Users\Administrator\Desktop\page.png", "rb").read(), "application/octet-stream")
})

# 指定POST参数的编码格式
headers = {
    "Content-Type":data.content_type
}

# 发送请求
requests.post(url=url, headers=headers, data=data)

提交 application/json 格式的参数：

data = {
    "user":"yintao",
    "pwd":"123456"
    }
    
requests.post(url=url, json=data)