Python3使用tomorrow异步

最新推荐文章于 2024-05-13 10:01:41 发布

weixin_30321709

最新推荐文章于 2024-05-13 10:01:41 发布

阅读量502

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/pyld/p/4716744.html

本文介绍如何利用Python库Tomorrow实现并发下载多个网页，并跟踪进度。通过设置session和线程池，有效提升抓取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tomorrow

项目地址
作者madisonmay

import time
import requests
import sys
from tomorrow import threads
s=requests.Session()
jishu=0
@threads(10)
def download(url):
    global jishu
    for _ in range(5):
        try:
            jishu+=1
            aa=s.get(url)
            sys.stderr.write('%s  \r'%jishu)
            break
        except:
            pass
    return aa
urls = ['http://p.3.cn/prices/mgets?skuIds=J_1273600']*100
if __name__ == "__main__":
    start = time.time()
    responses = [download(url) for url in urls]
    html = [response.text for response in responses]
    end = time.time()
    print ("Time: %f seconds" % (end - start))

转载于:https://www.cnblogs.com/pyld/p/4716744.html