python 封装网络请求工具类

封装一个Python网络请求工具类是常见的需求，尤其在处理多种HTTP请求时。下面是一个更加完整、易于扩展的Python网络请求工具类封装，利用了requests库，并提供了简单的错误处理、重试机制和自定义超时设置。

1. 安装requests库

如果还没有安装requests库，首先需要安装：

pip install requests

2. 网络请求工具类

import requests
from requests.exceptions import RequestException, Timeout, HTTPError, ConnectionError
import time
import json

class HttpRequest:
    def __init__(self, base_url=None, timeout=10, retries=3, backoff_factor=0.3):
        """
        初始化请求工具类
        :param base_url: 可选的基础 URL
        :param timeout: 请求超时时间（秒）
        :param retries: 请求失败时重试的次数
        :param backoff_factor: 重试时的退避因子
        """
        self.base_url = base_url
        self.timeout = timeout
        self.retries = retries
        self.backoff_factor = backoff_factor

    def _get_full_url(self, url):
        """获取完整的请求URL"""
        if self.base_url:
            return f"{self.base_url}{url}"
        return url

    def _handle_response(self, response):
        """处理HTTP响应"""
        if response.status_code == 200:
            try:
                return response.json()  # 返回JSON数据
            except json.JSONDecodeError:
                return response.text  # 返回原始文本数据
        else:
            response.raise_for_status()  # 如果响应有误，抛出异常

    def _retry_request(self, method, url, **kwargs):
        """发送请求并实现重试机制"""
        attempt = 0
        while attempt <= self.retries:
            try:
                response = method(url, **kwargs)
                return self._handle_response(response)
            except (Timeout, ConnectionError) as e:
                if attempt < self.retries:
                    attempt += 1
                    time.sleep(self.backoff_factor * (2 ** attempt))  # 指数退避
                    print(f"Retrying due to {e}. Attempt {attempt}/{self.retries}")
                else:
                    print(f"Request failed after {self.retries} retries.")
                    raise
            except RequestException as e:
                print(f"Request failed: {e}")
                raise

    def get(self, url, params=None, headers=None):
        """发送 GET 请求"""
        try:
            full_url = self._get_full_url(url)
            response = self._retry_request(requests.get, full_url, params=params, headers=headers, timeout=self.timeout)
            return response
        except RequestException as e:
            print(f"GET 请求失败: {e}")
            return None

    def post(self, url, data=None, json_data=None, headers=None):
        """发送 POST 请求"""
        try:
            full_url = self._get_full_url(url)
            response = self._retry_request(requests.post, full_url, data=data, json=json_data, headers=headers, timeout=self.timeout)
            return response
        except RequestException as e:
            print(f"POST 请求失败: {e}")
            return None

    def put(self, url, data=None, json_data=None, headers=None):
        """发送 PUT 请求"""
        try:
            full_url = self._get_full_url(url)
            response = self._retry_request(requests.put, full_url, data=data, json=json_data, headers=headers, timeout=self.timeout)
            return response
        except RequestException as e:
            print(f"PUT 请求失败: {e}")
            return None

    def delete(self, url, headers=None):
        """发送 DELETE 请求"""
        try:
            full_url = self._get_full_url(url)
            response = self._retry_request(requests.delete, full_url, headers=headers, timeout=self.timeout)
            return response
        except RequestException as e:
            print(f"DELETE 请求失败: {e}")
            return None

3. 使用示例

if __name__ == "__main__":
    # 创建请求工具类实例
    http = HttpRequest(base_url="https://jsonplaceholder.typicode.com", timeout=5, retries=3)
    
    # 发送 GET 请求
    response = http.get("/posts")
    print("GET Response:", response)
    
    # 发送 POST 请求
    post_data = {"title": "foo", "body": "bar", "userId": 1}
    response = http.post("/posts", json_data=post_data)
    print("POST Response:", response)
    
    # 发送 PUT 请求
    update_data = {"id": 1, "title": "updated", "body": "updated", "userId": 1}
    response = http.put("/posts/1", json_data=update_data)
    print("PUT Response:", response)
    
    # 发送 DELETE 请求
    response = http.delete("/posts/1")
    print("DELETE Response:", response)

4. 主要功能

• 基础URL支持: 允许在构造HttpRequest实例时指定一个基础URL，所有请求都会基于该URL进行。
• 超时设置: 在请求时，timeout参数会设定每个请求的最大等待时间，防止请求长时间挂起。
• 重试机制: 失败的请求会根据retries设置的次数进行重试，采用指数退避（backoff_factor）机制，即每次重试间隔会逐步增加。
• 错误处理: 通过try-except捕获各种异常（如超时、连接错误等），并打印错误信息。

5. 扩展功能

你可以根据自己的需求扩展以下功能：

• 日志记录: 添加日志功能，记录请求和响应详情。
• 代理支持: 支持代理设置，用于需要翻墙的请求。
• 文件上传: 支持文件上传功能，尤其是POST请求。
• 身份验证: 对于需要认证的接口，添加基本认证或OAuth认证。

例如，添加代理支持的代码：

class HttpRequest:
    def __init__(self, base_url=None, timeout=10, retries=3, backoff_factor=0.3, proxies=None):
        self.base_url = base_url
        self.timeout = timeout
        self.retries = retries
        self.backoff_factor = backoff_factor
        self.proxies = proxies  # 代理设置

    def _retry_request(self, method, url, **kwargs):
        """发送请求并实现重试机制，支持代理"""
        if self.proxies:
            kwargs['proxies'] = self.proxies
        # 省略其他部分...

当你创建HttpRequest实例时，可以传入proxies参数来使用代理：

http = HttpRequest(base_url="https://example.com", proxies={"http": "http://10.10.1.10:8888"})

6. 总结

通过封装HttpRequest类，你可以更加方便地管理和发送HTTP请求，同时避免每次都重复编写相同的请求逻辑。这种封装使得网络请求更加简洁且具有一定的容错能力，适合在实际项目中使用。