2024年Python最新比requests更强大的Python 库，让你的爬虫效率提高一倍(1)

适用场景：协程适用于被阻塞的，且需要大量并发的场景。

不适用场景：协程不适用于存在大量计算的场景（因为协程的本质是单线程来回切换），如果遇到这种情况，还是应该使用其他手段去解决。

初探异步 http 框架 httpx

至此我们对 “协程” 应该有了个大概的了解，但故事说到这里，相信有朋友还是满脸疑问：“协程” 对于接口测试有什么帮助呢？不要着急，答案就在下面。

相信用过 Python 做接口测试的朋友都对 requests 库不陌生。requests 中实现的 http 请求是同步请求，但其实基于 http 请求 IO 阻塞的特性，非常适合用协程来实现 “异步” http 请求从而提升测试效率。

相信早就有人注意到了这点，于是在 Github 经过了一番探索后，果不其然，最终寻找到了支持协程 “异步” 调用 http 的开源库: httpx

什么是 httpx

httpx 是一个几乎继承了所有 requests 的特性并且支持 “异步” http 请求的开源库。简单来说，可以认为 httpx 是强化版 requests。

下面大家可以跟着我一起见识一下 httpx 的强大

安装

httpx 的安装非常简单，在 Python 3.6 以上的环境执行

pip install httpx

最佳实践

俗话说得好，效率决定成败。我分别使用了 httpx 异步 和 同步 的方式对批量 http 请求进行了耗时比较，来一起看看结果吧～

首先来看看同步 http 请求的耗时表现：

import asyncioimport httpximport threading``import time`

def sync_main(url, sign): response = httpx.get(url).status_code print(f'sync_main: {threading.current_thread}: {sign}: {response}')

`sync_start = time.time[sync_main(url='http://www.baidu.com', sign=i) for i in range(200)]sync_end = time.time``print(sync_end - sync_start)

代码比较简单，可以看到在 sync_main 中则实现了同步 http 访问百度 200 次。

运行后输出如下（截取了部分关键输出…）：

sync_main: <_MainThread(MainThread, started 4471512512)>: 192: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 193: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 194: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 195: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 196: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 197: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 198: 200sync_main: <_MainThread(MainThread, started 4471512512)>: 199: 20016.56578803062439

可以看到在上面的输出中, 主线程没有进行切换（因为本来就是单线程啊喂！）请求按照顺序执行（因为是同步请求）。

程序运行共耗时 16.6 秒

下面我们试试 “异步” http 请求：

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！