python http 请求封装

森霖沐

已于 2022-02-09 14:44:55 修改

阅读量687

点赞数

CC 4.0 BY-SA版权

文章标签： python http 爬虫

于 2021-10-13 09:40:59 首次发布

本文链接：https://blog.youkuaiyun.com/lc19920727/article/details/120737615

本文探讨了如何使用Python进行HTTP POST请求，特别是针对multipart/form-data类型的提交，这是网络爬虫中常见的数据上传方式，适用于文件上传等场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json

import requests

from common.baselogger import logger


class WebRequests(object):

    def __init__(self):
        pass

    @staticmethod
    def get(url, params=None, headers=None, files=None):
        """封装get方法，return响应码和响应内容"""
        try:
            logger.info("=======================================================")
            logger.info("get url：%s" % url)
            logger.info("请求header：%s" % headers)
            logger.info("请求body：%s" % params)
            response = requests.get(url, params=params, headers=headers, files=files)
            status_code = response.status_code  # 获取返回的状态码
            logger.info("获取返回的状态码:%d" % status_code)
            # 如果返回不是json格式，则不转换，直接返回内容
            if '<!DOCTYPE html>' in str(response.content):
                logger.info("响应内容：%s" % str(response.content))
                return status_code, str(response.content)
            else:
                response_json = response.json()  # 响应内容，json类型转化成python数据类型
                logger.info("响应内容：%s" % response_json)