python异步协程简单爬虫

最新推荐文章于 2024-09-30 22:44:01 发布

原创最新推荐文章于 2024-09-30 22:44:01 发布 · 632 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#协程 #异步 #爬虫

本文介绍了一种使用Python进行图片爬取的方法，通过解析本地保存的网页源代码，利用正则表达式提取图片链接，并使用多线程异步下载到本地。此教程详细展示了从代码实现到运行的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

其中 1.txt是保存的网页源代码放在当前文件夹

import urllib.request
import re
import gevent
from gevent.pool import Pool
from gevent import monkey
monkey.patch_all()


def jpg_dy():
    # 提取网页图片链接
    # global pics
    with open("1.txt","r") as f:
        a = f.read()
    # print(a)
    pic = re.findall(r"https://[^:]*\.jpg", a)
    print(pic)
    return pic
def download(pic,count_a):
    # 将图片保存


    req = urllib.request.urlopen(pic)

    img_content = req.read()

    with open("斗鱼"+str(count_a)+".jpg", "wb") as f1:
        f1.write(img_content)




def main():
    """爬取斗鱼"""
    h = 1
    po = Pool(10)
    for i in jpg_dy():
        h+=1
        po.apply_async(download,(i,h))
    print("正在爬取图片")

    po.join()


if __name__ == '__main__':
    main()