《requests vs httpx：Python 网络请求库的全面对比与实战指南》

原创于 2025-12-11 06:46:44 发布 · 722 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#网络 #httpx #python

学习笔记同时被 3 个专栏收录

289 篇文章

订阅专栏

课程教程

269 篇文章

订阅专栏

提升学习

40 篇文章

订阅专栏

2025博客之星年度评选已开启 10w+人浏览 419人参与

《requests vs httpx：Python 网络请求库的全面对比与实战指南》

从同步到异步，从简单请求到高性能并发，选对工具，事半功倍。

一、写在前面：为什么我们需要重新审视 HTTP 客户端？

在 Python 的世界里，requests 几乎是网络请求的代名词。它以简洁优雅的 API 和强大的功能，成为无数开发者的首选工具。然而，随着异步编程的兴起、性能需求的提升，httpx 作为后起之秀，正悄然改变这一格局。

这篇文章将带你深入理解这两个库的设计理念、使用方式、性能差异与适用场景。无论你是刚接触 Python 网络编程的新手，还是追求极致性能的资深开发者，都能在这里找到实用的参考与灵感。

二、requests 与 httpx：谁是谁？

特性	`requests`	`httpx`
同步支持	✅	✅
异步支持	❌	✅（基于 `asyncio`）
HTTP/2 支持	❌	✅
连接池复用	✅	✅（更灵活）
Cookie 管理	✅	✅
流式上传/下载	✅	✅
类型提示	❌	✅（支持类型注解）
支持 HTTP 代理	✅	✅
支持 SOCKS 代理	❌（需额外库）	✅（内置）

三、基础用法对比：从 Hello World 开始

1. 使用 requests 发起 GET 请求

import requests

response = requests.get('https://httpbin.org/get', params={'q': 'python'})
print(response.status_code)
print(response.json())

2. 使用 httpx 发起同步 GET 请求

import httpx

response = httpx.get('https://httpbin.org/get', params={'q': 'python'})
print(response.status_code)
print(response.json())

几乎一模一样，对吧？这是 httpx 的一大优势：API 与 requests 高度兼容，迁移成本低。

四、异步时代的选择：httpx 的杀手锏

如果你正在开发异步 Web 应用（如 FastAPI、aiohttp），或者需要高并发爬虫、实时数据处理，httpx 的异步能力将大放异彩。

异步 GET 请求示例

import httpx
import asyncio

async def fetch():
    async with httpx.AsyncClient() as client:
        response = await client.get('https://httpbin.org/get')
        print(response.json())

asyncio.run(fetch())

相比之下，requests 无法在 async 环境中使用，容易阻塞事件循环，导致性能瓶颈。

五、性能实测：并发场景下的差距

我们用 100 个并发请求测试两者性能（以 httpbin.org 为目标）：

# 使用 httpx 异步并发
import asyncio
import httpx
import time

async def fetch(client, i):
    r = await client.get('https://httpbin.org/delay/1')
    return r.status_code

async def main():
    async with httpx.AsyncClient() as client:
        tasks = [fetch(client, i) for i in range(100)]
        start = time.time()
        await asyncio.gather(*tasks)
        print(f"耗时：{time.time() - start:.2f} 秒")

asyncio.run(main())

结果对比：

requests（同步）：约 100 秒
httpx（异步）：约 1.5 秒

这就是异步的力量。

六、进阶特性对比：你可能不知道的细节

1. HTTP/2 支持（httpx 独有）

client = httpx.Client(http2=True)

在需要复用连接、提升性能的场景（如 gRPC、API 网关）中，HTTP/2 是关键。

2. 更强的连接池控制

client = httpx.Client(
    limits=httpx.Limits(max_connections=100, max_keepalive_connections=20)
)

相比 requests 的全局连接池，httpx 提供更细粒度的控制，适合高并发服务。

3. 更好的类型提示与 IDE 支持

def fetch(url: str) -> httpx.Response:
    return httpx.get(url)

类型安全让大型项目更易维护，httpx 在这方面明显优于 requests。

4. 原生支持 SOCKS 代理

client = httpx.Client(proxies="socks5://127.0.0.1:1080")

无需额外依赖，轻松应对翻墙、匿名访问等需求。

七、实战案例：构建一个高并发异步爬虫

目标：抓取多个页面的标题信息。

import httpx
import asyncio
from bs4 import BeautifulSoup

urls = [
    'https://example.com',
    'https://httpbin.org/html',
    # 添加更多目标页面
]

async def fetch_title(client, url):
    try:
        r = await client.get(url, timeout=5)
        soup = BeautifulSoup(r.text, 'html.parser')
        title = soup.title.string if soup.title else '无标题'
        print(f"{url} -> {title}")
    except Exception as e:
        print(f"{url} 请求失败：{e}")

async def main():
    async with httpx.AsyncClient() as client:
        tasks = [fetch_title(client, url) for url in urls]
        await asyncio.gather(*tasks)

asyncio.run(main())