python grequest模块使用备忘录

原创

于 2023-10-10 14:38:53 发布 · 946 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

文章讲述了作者在处理大量链接检查时，选择使用grequests进行异步IO，避免了多线程的复杂性和性能问题。然而，grequests的map模块在请求失败时返回None，作者为此自定义了ggrequests模块，增加了对超时和异常的处理功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

手里上有一批链接，需要检查他们是否已经被删除。本来是想用多线程的，但是考虑了下一个是实现起来稍繁琐。而且性能不理想，单机基本超过10线程基本上就没有太多增益了。

所以考虑了下，还是决定用异步IO。

在使用grequest之前用的是aiohttp来处理的，但是这个库蛋疼的时，每个延时请求前都要添加await，导致代码里一堆await和async。

基于此，就找到了grequest。

写代码的方式还是以同步的思路来写的，只不过grequest会在底层帮你把代码转换成异步IO。

代码如下

import grequests

urls = [
    'http://www.baidu.com',
    'http://www.qq.com',
    'http://www.163.com',
    'http://www.zhihu.com',
    'http://www.toutiao.com',
    'http://www.douban.com'
]

>>> rs = (grequests.get(u) for u in urls)
>>> grequests.map(rs)
[<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, None, <Response [200]>]

>>> def exception_handler(request, exception):
...    print("Request failed")

>>> reqs = [
...    grequests.get('http://httpbin.org/delay/1', timeout=0.001),
...    grequests.get('http://fakedom