小技巧：大幅度提高requests的访问速度

转载最新推荐文章于 2026-09-01 00:20:15 发布 1.2w 阅读 AI写同款

菜鸟学Python

8083粉丝571篇原创

关注

基于Python3.6 +高德地图API的EXCEL文档中经纬度逆地理编码的批量实现实现目的：为了方便工作中excel 数据的操作，大幅度提高工作效率，想到了用Python3 实现excel数据的批量读取与写入工作中经常用到经纬度转换成具体的地址，手动在网站上查找并写入excel中需要消耗大量的时间涉及知识点： Python3 的Excel 数据读、写、追加，包括了xlrd, xlwt, openpyxl这三个库的操作，特别是openpyxl这... 阅读详情

AI摘要

本文介绍了一种通过使用requests.Session()来提高HTTP请求处理速度的方法，实测表明，使用Session对象可以显著减少因频繁建立和断开TCP连接所导致的时间消耗，将访问100次网页的时间从20秒缩短至5秒。

摄影：产品经理

与产品经理环游世界

我做了一个垃圾信息过滤的 HTTP 接口。现在有一千万条消息需要经过这个接口进行垃圾检测。

一开始我的代码是这样的：

import requests
messages = ['第一条', '第二条', '第三条']
for message in messages:
    resp = requests.post(url, json={'msg': message}).json()
    if resp['trash']:
        print('是垃圾消息')

我们写一段代码来看看运行速度：

访问一百次百度，竟然需要 20 秒。那我有一千万条信息，这个时间太长了。

有没有什么加速的办法呢？除了我们之前文章讲到的多线程、aiohttp 或者干脆用 Scrapy 外，还可以让 requests 保持连接从而减少频繁进行 TCP 三次握手的时间消耗。

那么要如何让 requests 保持连接呢？实际上非常简单，使用Session对象即可。

修改后的代码：

import requests
import time

start = time.time()
session = requests.Session()
for _ in range(100):
    resp = session.get('https://baidu.com').content.decode()
end = time.time()
print(f'访问一百次网页，耗时：{end - start}')

运行效果如下图所示：

性能得到了显著提升。访问 100 页只需要 5 秒钟。

在官方文档^[1]中，requests 也说到了 Session对象能够保持连接：


The Session object allows you to persist certain parameters across requests. It also persists cookies across all requests made from the Session instance, and will use urllib3’s connection pooling. So if you’re making several requests to the same host, the underlying TCP connection will be reused, which can result in a significant performance increase (see HTTP persistent connection).
”


Excellent news — thanks to urllib3, keep-alive is 100% automatic within a session! Any requests that you make within a session will automatically reuse the appropriate connection!
”