遇到问题--python--爬虫--urllib的使用协程没有并发的效果

最新推荐文章于 2024-06-26 12:16:39 发布

阿泽财商会

最新推荐文章于 2024-06-26 12:16:39 发布

阅读量748

点赞数

CC 4.0 BY-SA版权

分类专栏： python 数据采集遇到问题解决方案集锦数据采集文章标签： python 爬虫 urllib 协程并发

本文链接：https://blog.youkuaiyun.com/zzq900503/article/details/90604260

遇到问题解决方案集锦同时被 3 个专栏收录

267 篇文章 ¥19.90 ¥99.00

订阅专栏

python

73 篇文章

订阅专栏

数据采集

18 篇文章

订阅专栏

在使用Python的urllib进行爬虫时，发现协程并未达到并发效果，原因是gevent无法检测到urllib的IO操作。为解决此问题，需要通过gevent的monkey.patch_all()来打补丁，确保在导入其他包之前进行 Monkey-patching。如果已导入ssl模块，可能会导致错误，需调整导入顺序，先打补丁再导入其他包。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

情况

方法代码如下：

async def get_product_info():
    pagelinks=findNoDealedGoodlookProductInfoLinkt(0, 150000)
    n = 0
    for p in pagelinks:
        try:
            n=n+1
            print("product_info"+str(n))
            if countGoodlookProductInfo(p["_id"]) <= 0:
                content=fetch_raw_post_goodlook(p["link"], p["data"])
                contentjson = json.loads(content)
                if "product" in contentjson:
                    pagedata = contentjson['product']
                    pagedata["_id"] = p["_id"]
                    pagedata['name'] = p['name']
                    pagedata['name_en'] = p['name_en']
                    pagedata['uid'] = p['uid']
                    pagedata['type'] = p['type']
                    pa

了解本专栏