爬取某直播网站首页小姐姐的照骗

最新推荐文章于 2025-02-20 17:43:42 发布

树新风\(^o^)/~

最新推荐文章于 2025-02-20 17:43:42 发布

阅读量1.5k

点赞数

本文链接：https://blog.youkuaiyun.com/sdzhr/article/details/80898663

版权

Python/Linux高级编程总结归纳同时被 3 个专栏收录

32 篇文章

订阅专栏

Python爬虫

18 篇文章

订阅专栏

Python爬虫

15 篇文章

订阅专栏

本文介绍了一种使用Python的requests和正则表达式从斗鱼网站抓取图片URL的方法，并通过多进程并发下载这些图片到本地。该程序能够高效地处理大量图片的下载任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#使用正则表达式取出网页中图片url并下载图片
import time
import re
import requests
import multiprocessing
import os

def down_image(url,i):
    data = requests.get(url).content
    print("正在下载第%d张图片...%s"%(i,url))
    name = url[-15:] 
    if not os.path.exists("./douyu"):
        os.mkdir("./douyu")
    with open("./douyu/" + name,"wb") as f:
        f.write(data)
    

def dealdata(html):
    exp = r'https?://[^:]*_big\.jpg'
    ls = re.findall(exp,html)
    i = 1
    print("共找到%d张符合要求的图片，开始下载..."%len(ls))
    begin = time.time()
    pool = multiprocessing.Pool(10)
    for url in ls:
        pool.apply_async(down_image, args = (url,i))
        i += 1
    pool.close()
    pool.join()
    end = time.time()
    print("下载完成共耗时%f秒"%(end-begin))


def main():
    pagenum = int(input("请输入要下载的页码："))
    url = "https://www.douyu.com/gapi/rkc/directory/2_201/%d"%pagenum
    headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko)"}
    html = requests.get(url, headers = headers).text
    dealdata(html)

if __name__ == "__main__":
    main()