Python HTTP客户端实战:从urllib到异步请求

Python实现http客户端代码示例 本文用python在TCP的基础上实现一个HTTP客户端, 该客户端能够复用TCP连接, 使用HTTP1.1协议.HTTP是基于TCP连接的, 它的请求报文格式如下:因此, 我们只需要创建一个到服务器的TCP连接, 然后按照上面的格式写好报文并发给服务器, 就实现了一个HTTP请求.基于以上的分析, 我们首先定义一个HTTPConnection类来管理连接和请求内容: 对于这个HTTPConnection对象, 我们只需要创建TCP连接, 然后按照HTTP协议的格式把请求数据写入buffer中...... 阅读详情

Python HTTP客户端实战:从urllib到异步请求

引言

HTTP客户端是后端开发中不可或缺的工具,用于与外部API进行通信。Python提供了多种HTTP客户端方案,从标准库的urllib到第三方库如requests、httpx等。

本文将深入探讨Python中的HTTP客户端技术,包括同步和异步方案,并分享生产环境中的最佳实践。

一、标准库HTTP客户端

1.1 urllib.request基础用法

import urllib.request
import urllib.parse

# 发送GET请求
url = 'https://api.example.com/data'
response = urllib.request.urlopen(url)
data = response.read().decode('utf-8')
print(data)

# 发送POST请求
url = 'https://api.example.com/submit'
data = urllib.parse.urlencode({'key': 'value'}).encode('utf-8')
response = urllib.request.urlopen(url, data=data)
print(response.status)

1.2 自定义请求头和代理

import urllib.request

url = 'https://api.example.com/data'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    'Authorization': 'Bearer token123'
}

req = urllib.request.Request(url, headers=headers)

# 设置代理
proxy_handler = urllib.request.ProxyHandler({'http': 'http://proxy.example.com:8080'})
opener = urllib.request.build_opener(proxy_handler)
response = opener.open(req)

二、requests库详解

2.1 基本用法

import requests

# GET请求
response = requests.get('https://api.example.com/data', params={'page': 1, 'limit': 10})
print(response.json())

# POST请求
data = {'username': 'user', 'password': 'pass'}
response = requests.post('https://api.example.com/login', json=data)

# 响应处理
print(response.status_code)
print(response.headers)
print(response.cookies)

2.2 请求会话和连接池

import requests

# 创建会话对象,自动处理cookies和连接复用
session = requests.Session()
session.headers.update({'Authorization': 'Bearer token'})

# 多次请求复用连接
response1 = session.get('https://api.example.com/data1')
response2 = session.get('https://api.example.com/data2')

# 自定义适配器配置
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

retry_strategy = Retry(
    total=3,
    backoff_factor=1,
    status_forcelist=[429, 500, 502, 503, 504]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('https://', adapter)

2.3 文件上传和下载

import requests

# 文件上传
with open('file.txt', 'rb') as f:
    response = requests.post(
        'https://api.example.com/upload',
        files={'file': ('file.txt', f, 'text/plain')}
    )

# 大文件流式下载
url = 'https://example.com/large_file.zip'
response = requests.get(url, stream=True)

with open('large_file.zip', 'wb') as f:
    for chunk in response.iter_content(chunk_size=8192):
        f.write(chunk)

三、异步HTTP客户端

3.1 aiohttp基础

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.json()

async def main():
    async with aiohttp.ClientSession() as session:
        tasks = [
            fetch(session, 'https://api.example.com/data1'),
            fetch(session, 'https://api.example.com/data2'),
            fetch(session, 'https://api.example.com/data3')
        ]
        results = await asyncio.gather(*tasks)
        print(results)

asyncio.run(main())

3.2 httpx异步客户端

import httpx
import asyncio

async def main():
    async with httpx.AsyncClient() as client:
        # 并发请求
        responses = await asyncio.gather(
            client.get('https://api.example.com/data1'),
            client.get('https://api.example.com/data2')
        )
        
        for response in responses:
            print(response.json())

asyncio.run(main())

四、HTTP客户端对比

4.1 性能对比实验

import requests
import httpx
import time

def test_requests_sync():
    start = time.time()
    for _ in range(10):
        requests.get('https://httpbin.org/get')
    return time.time() - start

def test_httpx_sync():
    start = time.time()
    client = httpx.Client()
    for _ in range(10):
        client.get('https://httpbin.org/get')
    return time.time() - start

print(f"requests sync: {test_requests_sync():.3f}s")
print(f"httpx sync: {test_httpx_sync():.3f}s")

4.2 方案选择指南

特性urllibrequestshttpxaiohttp
易用性低高高中等
异步支持否否是是
连接池基础优秀优秀优秀
文件上传复杂简单简单简单
代理支持支持支持支持支持

五、生产环境最佳实践

5.1 请求超时配置

import requests

# 设置超时时间
try:
    response = requests.get(
        'https://api.example.com/data',
        timeout=5  # 5秒超时
    )
except requests.exceptions.Timeout:
    print("请求超时")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

5.2 错误重试机制

from tenacity import retry, stop_after_attempt, wait_exponential

@retry(
    stop=stop_after_attempt(3),
    wait=wait_exponential(multiplier=1, min=2, max=10)
)
def fetch_data(url):
    response = requests.get(url)
    response.raise_for_status()
    return response.json()

try:
    data = fetch_data('https://api.example.com/data')
except Exception as e:
    print(f"重试后仍失败: {e}")

5.3 请求日志记录

import logging
import requests

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

def log_request(func):
    def wrapper(*args, **kwargs):
        url = args[0] if args else kwargs.get('url')
        logger.info(f"请求: {url}")
        try:
            response = func(*args, **kwargs)
            logger.info(f"响应: {response.status_code}")
            return response
        except Exception as e:
            logger.error(f"请求失败: {e}")
            raise
    return wrapper

@log_request
def safe_request(url):
    return requests.get(url)

六、高级HTTP客户端技术

6.1 自定义认证处理器

from requests.auth import AuthBase

class BearerAuth(AuthBase):
    def __init__(self, token):
        self.token = token
    
    def __call__(self, r):
        r.headers['Authorization'] = f'Bearer {self.token}'
        return r

# 使用自定义认证
response = requests.get(
    'https://api.example.com/data',
    auth=BearerAuth('my_token')
)

6.2 请求限流

import time
from collections import deque

class RateLimiter:
    def __init__(self, max_requests, time_window):
        self.max_requests = max_requests
        self.time_window = time_window
        self.request_times = deque()
    
    def wait(self):
        now = time.time()
        
        # 移除时间窗口外的请求记录
        while self.request_times and now - self.request_times[0] > self.time_window:
            self.request_times.popleft()
        
        # 如果达到限制,等待
        if len(self.request_times) >= self.max_requests:
            wait_time = self.time_window - (now - self.request_times[0])
            time.sleep(max(0, wait_time))
        
        self.request_times.append(time.time())

# 使用限流
limiter = RateLimiter(max_requests=100, time_window=60)

for _ in range(150):
    limiter.wait()
    # 发送请求

七、总结

选择合适的HTTP客户端需要考虑:

  1. 同步vs异步:高并发场景选择异步客户端
  2. 功能需求:文件上传、代理、认证等
  3. 性能要求:连接池、重试机制
  4. 生态系统:与现有代码的兼容性

在实际项目中,推荐:

  • 简单场景使用requests
  • 异步场景使用httpx或aiohttp
  • 生产环境添加超时、重试、限流等机制

思考:在你的项目中,HTTP客户端的最大挑战是什么?欢迎分享!

【python库对比】网络专题-requests和urllib对比 python 处理网络请求常用库 request 和 urllib 对比以及代码示例 阅读详情

相关推荐

Python网络请求-aiohttp

在 Python 众多的 HTTP 客户端中,最有名的莫过于 、 和 。requestsaiohttphttpx 在不借助其他第三方库的情况下, 只能发送同步请求; 只能发送异步请求; 既能发送同步请求,又能发送异步请求。requestsaiohttphttpx 那么怎么选择呢 只发同步请求用 ,但可配合多线程变异步。requests 只发异步请求用 ,但可以配合await变同步。aiohttp httpx可以发同步请求也可以异步,但是请求速度同步略差于 ,异步略差于requestsaiohttp

Python_xiaowu的博客 2675

【Python 基础】网络编程 - Python写一个简单的HTTP服务端和客户端,实现Client/Server交互

1.HTTP 首先讲一下http和https 2.python http 3.源码实例 4.完整下载

AiFool的博客 8815

Python异步HTTP编程:aiohttp从入门到高并发爬虫实战

异步编程是一种事件驱动的编程范式,其核心原理是在等待I/O操作(如网络请求、文件读写)时,将CPU控制权让出给其他任务,从而实现单线程内的高并发处理。这种非阻塞I/O模型能显著提升网络应用的吞吐量和资源利用率,尤其适用于需要同时处理大量连接的场景。在Python生态中,asyncio库提供了原生的异步支持,而aiohttp则是基于asyncio构建的异步HTTP客户端/服务器框架。aiohttp的技术价值在于它允许开发者用协程(Coroutine)和事件循环(Event Loop)轻松管理成千上万个并发连接

weixin_33709590的博客 677

python网络编程——HTTP客户端

1.

qq_40909772的博客 3473

用Python实现HTTP客户端和服务器

在Python中,我们可以使用内置的模块来创建HTTP客户端和服务器。在本文中,我将向您展示如何使用Python实现HTTP客户端和服务器,并提供相应的源代码。这就是使用Python实现HTTP客户端和服务器的简单示例。您可以根据需要对代码进行修改和扩展,以满足实际的需求。类创建了一个HTTP服务器,并指定服务器的地址和请求处理类。上述代码演示了一个简单的HTTP服务器。最后,我们打印出状态码和响应内容,并关闭连接。方法中,我们设置了响应状态码、响应头部和响应内容。上述代码演示了一个简单的HTTP客户端。

CyberLancer的博客 271

解析Python爬虫中的urllib与urllib3:底层原理与实战应用

摘要:Python网络请求库中,urllib与urllib3常被混淆,但二者定位不同:urllib是Python内置标准库,轻量无依赖,适合简单脚本;urllib3是第三方高性能库,支持连接池、线程安全和自动重试,是requests等框架的底层基础。urllib适合离线环境快速验证,而urllib3适用于高并发爬虫和精细控制请求。文章从架构、原理和实战角度对比两者的核心功能与适用场景,帮助开发者合理选择工具。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 801

Python http.client 模块:深入解析 HTTP 客户端操作

是 Python 标准库中的一部分,它提供了实现 HTTP 和 HTTPS 客户端的基础类和方法。通过该模块,我们可以方便地模拟浏览器等客户端向服务器发送请求,并获取服务器的响应。其主要类包括和,分别用于处理 HTTP 和 HTTPS 连接。模块为 Python 开发者提供了一个基础的 HTTP 客户端实现,通过和类可以方便地与 HTTP 和 HTTPS 服务器进行通信。它支持多种请求方法,能处理服务器的响应,并提供了异常处理机制。虽然与一些第三方库相比,

Tekin 是深耕技术 20 年的全栈实战派专家,精通 Go/Python/Java 等多语言开发。博客专注技术原理与实战结合,深度解析 Python 高阶编程、Go 语言架构、数据库优化等硬核内容。涵盖并发编程、机器学习、云原生等前沿领域,通过真实案例拆 1468

从零解析:富斯i6遥控器与STM32的IBUS协议通信实战

本文详细解析了富斯i6遥控器与STM32通过IBUS协议通信的实战指南,涵盖硬件准备、协议解析、驱动实现及常见问题解决。特别适合机器人及智能小车开发者,提供低成本、高可靠性的无线控制方案,助力快速实现多通道控制功能。

weixin_29193359的博客 441

HTTP客户端:Python的httpx库

HTTP(HyperText Transfer Protocol,超文本传输协议)请求是发向Web服务器的。HTTP是一种用于分布式、协作式和超媒体信息系统的应用层协议. 本文关注HTTP的客户端

qiy_icbc的博客 1105

硬件开发流程

研发流程在一个有一定规模的企业中起到了非常重要的作用,也是一个产品或者项目成功量产出货依赖的平台体系,作为工程师如果想要走的更远,就必须了解流程体系,了解如何对产品的开发质量进行更好的管控。...

weixin_44126796的博客 8388

基于gem5模拟trace的cache模拟器的实现

在做计算机体系结构的时候,模拟器是一个重要且又有效的工具。其中gem5集成了gem和m5的优点,使用起来比较简单和方便。其中包括了se模式和fs模式,se模式是在gem5运行我们已经编译好的程序,可以获取cache,cpu状态等数据,fs模式下可以模拟操作系统,我们可以将我们自己修改的linux内核加载到哥们上运行。下面介绍了使用gem5的se模式,运行编译好的ARM可执行文件。获取访存的trac

gaoxiang的专栏 8894

Python进行HTTP请求超时设置

在进行HTTP请求时,设置超时是一个非常重要的操作,因为它可以防止请求因为网络问题或目标服务器响应缓慢而无限期地挂起。Python提供了多种方式来设置HTTP请求的超时,具体取决于你使用的HTTP客户端库。以下是几种常用的Python HTTP客户端库及其设置超时的方法。连接超时是指建立TCP连接所需的最大时间,而读取超时是指从服务器读取数据所需的最大时间。:在设置超时的同时,你可能还想实现重试机制,以便在请求失败时自动重试。通过合理设置HTTP请求的超时,你可以提高应用程序的健壮性和用户体验。

weixin_73725158的博客 986

ADS软件操作(10)——DAC控件使用

该控件可以用于为元件定义随频率变换的参数,如放大器的最佳负载阻抗或者源阻抗,需要双频匹配时的优化等,下图是ADS中该控件的模型。

Zhuanzhuyan的博客 4416

Python 的七个HTTP请求库对比

命令包含了一个HTTP GET请求,它发送到豆瓣电影的某个API端点,请求某种类型的电影排行数据。请求中包含了多个HTTP头,例如。根据你的需求和偏好,选择最适合你的库来执行HTTP请求。如果你需要处理大量并发请求,可能会倾向于使用。这些头信息通常用于控制请求的行为,或者提供客户端环境的额外信息。如果你需要简单快速地发起请求,并且不想引入额外的依赖,可能会选择。如果你正在编写一个需要精细控制网络层面的底层应用,可能会选择。以下是使用几种不同的Python HTTP请求库来模拟这个。

qq_36463299的博客 3740

多传感器标定:如何统一摄像头、雷达与IMU坐标?

多传感器标定:如何统一摄像头、雷达与IMU坐标?​ ,人工智能,计算机视觉,大模型,AI,本文详细阐述多传感器标定中统一摄像头、雷达与 IMU 坐标的方法。先介绍传感器坐标系统、坐标统一必要性及变换数学基础,再分述摄像头与雷达、IMU 与摄像头、IMU 与雷达的标定原理、步骤、参数计算及结果验证,还讲解了多传感器坐标统一的整体流程,分析了标定常见问题及解决办法,介绍了常用标定工具,结合实际案例说明应用,探讨了标定精度的影响因素、提升方法及发展趋势,为相关领域提供了全面的多传感器标定指导。​

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 12万+

CLCD 中国生命周期基础数据库使用攻略

CLCD 是公共建筑碳排放计算的理想选择,其本地化数据可显著提高计算准确性。

hy行者勇哥的博客 2701

Python httpx介绍(现代HTTP Client、HTTP客户端)(异步请求、aiohttp、现代版Requests、httpcore、anyio、Async IO、HTTP/2)

HTTPX 本质上代表的是:Python 网络生态从同步时代向 Async 时代的演进。它的价值不在于:“比 Requests 更高级”。而在于:它更适合现代网络系统。Async 会增加复杂度HTTP/2 不一定带来巨大收益小项目可能没必要引入因此:HTTPX 并不是“所有项目都必须使用”的答案。它只是:现代 Python 网络开发中,一个非常优秀且现实的选择。

Dontla的博客 640

软件设计师---UML

软件设计师---UML

我从不打没有准备的仗! 1万+

Python开发从入门到精通:网络编程与异步IO进阶

本文摘要:《Python网络编程与异步IO进阶》系统讲解了Python网络编程核心技术,涵盖Socket编程(TCP/UDP实现)、HTTP客户端开发(urllib/requests库)和服务器搭建(http.server模块)。重点内容包括:1) Socket基础概念及TCP/UDP编程实例;2) HTTP客户端请求处理与服务器响应实现;3) 异步IO操作原理与asyncio库应用。通过完整代码示例演示了网络通信的全流程实现,为开发高性能网络应用提供了实用指导。

编程世界如山海,探索不止。 6911

六、数据资产平台功能架构

该架构图展示了一个功能完善的数据资产平台,它涵盖了数据资产管理的各个方面,从数据采集、模型设计、编目到使用和分析。通过该平台,企业可以更好地管理数据资产,提高数据利用效率,并为业务决策提供有力支持。

moton2017的博客 1627

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

rf工具未来路线图:即将推出的强大功能预览

作为一款专注于Go语言的重构工具,rf正通过持续迭代为开发者提供更智能、更高效的代码重构体验。本文将带您抢先了解rf工具未来版本中值得期待的五大核心功能升级,帮助您提前规划开发流程,优化代码管理效率。 ## 1. 模块化支持增强:嵌套模块智能检测 Go Modules已成为Go项目的标准依赖管理方式,而rf工具将在未来版本中强化对复杂模块结构的支持。根据[refactor/refactor.g

gitblog_00004的博客 212

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Python中的HTTP客户端库比较

在Python中,有多种HTTP客户端库可供选择,用于发送HTTP请求和接收HTTP响应。它简单易用,功能强大,支持各种HTTP方法(GET、POST、PUT、DELETE等),并提供了丰富的配置选项。它支持异步发送HTTP请求和接收HTTP响应,适用于需要处理大量并发请求的应用场景。然而,对于复杂的HTTP请求和响应处理,可能需要结合其他库或工具来实现。是Python标准库中的一部分,它提供了底层的HTTP客户端接口。库相似的API,但它是异步的,因此可以更好地利用现代硬件的性能优势。

weixin_73725158的博客 714

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Python中的HTTP访问利器

掌握Python的HTTP访问技能,无论是获取网页内容、调用API数据,还是与服务器交互,requests、urllib、aiohttp、httpx等库都能助你轻松完成。

kymppcds的博客 1830

Python HTTP客户端实战:从requests到httpx的生产级选型与调优

HTTP客户端是现代Python应用与外部服务通信的核心基础设施,其本质是TCP连接管理、TLS握手、请求/响应生命周期控制与错误恢复机制的集合。理解GET/POST的语义差异、超时分层(connect/read)、连接池复用原理及重试策略设计,直接决定服务的稳定性与可观测性。在高并发、低延迟、需异步或HTTP/2支持的场景下,httpx凭借原生异步、精细连接限制(pool_limits)和现代协议栈成为requests的自然演进;而urllib则作为标准库基石,提供底层可控性。本文聚焦Python生态中r

weixin_30315723的博客 453

Python urllib3

urllib3 是 Python 生态中一个强大而灵活的 HTTP 客户端库,特别适合需要高性能、高可靠性的网络通信场景。通过合理配置连接池、重试机制和超时设置,可以构建出健壮的 HTTP 客户端应用。无论是简单的 API 调用,还是复杂的分布式系统通信,urllib3 都能提供稳定高效的基础支持。掌握 urllib3 的使用,将使你在处理 Python 网络编程时游刃有余。附录:常用资源urllib3 官方文档urllib3 GitHub 仓库HTTP 状态码参考SSL/TLS 最佳实践。

顺其自然~专栏 292

Python requests库详解:HTTP请求与API调用实战

HTTP客户端库是现代网络编程的核心组件,通过封装底层协议实现高效通信。Python生态中的requests库基于urllib3构建,提供简洁API处理HTTP/1.1请求,支持GET/POST等全部方法,自动管理连接池和内容解码。其技术价值体现在提升开发效率上,相比标准库urllib减少70%的代码量,GitHub使用率高达78%。典型应用场景包括爬虫开发、微服务调用和API测试,特别适合处理文件上传下载、会话保持等需求。通过Session对象和适配器机制,还能实现连接复用、自定义超时等高级功能,在电商A

leonard61306500的专栏 353
上一篇: Python序列化与反序列化:从JSON到高性能二进制格式
下一篇: Python事件驱动架构:从基础到生产实践
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值