requests高阶用法

一.requests上传文件操作

import requests
files = {'file': open('filename', 'rb')}
res = requests.post(url=url, files=files)

二.会话维持: Session对象

from requests import Session
# 实例化Session对象
session = Session()
res = session.get(url=url, headers=headers)

实例化Session对象是反反爬的策略之一, 利用Session可以记录cookie

三.设置超时时间

import requests
# timeout为超时时间, 在请求5秒内没有响应则会抛出异常
res = requests.get(url=url, headers=headers, timeout=5)

四.Prepare Request

构建request对象, 可以放入队列中实现爬取队列调度

from requests import Request, Session
url = '....'
# 定制post参数
data = {
   'wd': 'spiderman'
}
# 定制请求头
headers = {
   'User-Agent': '...'
}
# 1.实例化session对象
session = Session()
# 2.构建request对象, 传入必要参数
req = Request('POST', url, data=data, headers=headers)
req = Request('GET', url, params=params, headers=headers)
# 3.应用prepared_request方法将request对象转化为Prepared Request对象
prepared = session.prepare_request(req)
# 4.利用session的send方法发送请求
res = session.send(prepared)