爬虫06-requests模块

最新推荐文章于 2024-07-24 15:04:59 发布

原创最新推荐文章于 2024-07-24 15:04:59 发布 · 180 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

16 篇文章

订阅专栏

本文详细介绍了Python requests模块的使用，包括简单的HTTP请求、设置headers和查询参数、添加代理IP、处理cookie、POST方法以及SSL证书的验证，特别强调了如何处理SSL证书验证问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、requests的简单使用

import requests

response = requests.request('get', 'http://www.baidu.com/')
# response = requests.get('http://www.baidu.com/')
# 返回字节流数据
content = response.content
# print(content.decode())

# 返回unicode格式的数据
print(response.text)
print(response.url)
# 查看响应头部字符编码
print(response.encoding)
print(response.status_code)

2、添加headers 和查询参数

kw = {'wd': '长城'}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
                         "(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为 url 编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
print(response.text)
print(response.encoding)

3、添加代理IP

import requests
# 根据协议类型，选择不同的代理
proxies = {
 "http": "http://27.184.124.29:8118",
}
response = requests.get("http://www.baidu.com", proxies=proxies)
print(response.text)

4、cookie

import requests
response = requests.get("https://www.baidu.com/")
# 7. 返回 CookieJar 对象:
cookiejar = response.cookies
# 8. 将 CookieJar 转为字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiejar)
print(cookiedict)

5、post


import requests
# 1. 创建 session 对象，可以保存 Cookie 值
ssion = requests.session()
# 2. 处理 headers
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
                         "(KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 3. 需要登录的用户名和密码
data = {"email": "", "password": "**********"}
# 4. 发送附带用户名和密码的请求，并获取登录后的 Cookie 值，保存在 ssion 里
ssion.post("http://www.renren.com/PLogin.do", data = data)
# 5. ssion 包含用户登录后的 Cookie 值，可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://www.renren.com/410043129/profile")
# 6. 打印响应内容
print(response.text)

6、ssl证书的验证

要想检查某个主机的 SSL 证书，你可以使用 verify 参数（也可以不写）

import requests
response = requests.get("https://www.baidu.com/", verify=True)
# 也可以省略不写
# response = requests.get("https://www.baidu.com/")
print(response.text)

如果 SSL 证书验证不通过，或者不信任服务器的安全证书，则会报出 SSLError，如12306