爬虫——练习分页爬取糗事百科热图，保存图片到本地

最新推荐文章于 2024-08-12 21:50:16 发布

原创最新推荐文章于 2024-08-12 21:50:16 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#分页爬取图片

爬虫专栏收录该内容

19 篇文章

订阅专栏

博客介绍了利用Python进行图片爬取与保存的方法。使用os模块建文件夹，re模块通过单行模式、非贪婪匹配和分组取值处理数据，requests模块拼接图片地址、分割文件名，用content属性和wb模式将图片保存本地，不过该方法速度较慢。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

os模块操作：建文件夹
re模块操作：单行模式+非贪婪匹配+分组取值 img_list = re.findall('<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>', page_text, re.S)
requests操作：图片地址要拼接+ 保存本地时文件名分割+ content属性+ wb模式写

缺点是有点慢

import requests
import re
import os

if not os.path.exists('./img2'):
    os.mkdir('./img2')

start_page = int(input("输入起始页码"))
end_page = int(input("输入终止页码"))

proxies = {
    "https": "218.60.8.99:3129"

}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
}

# https://www.qiushibaike.com/imgrank/page/2/

base_url = 'https://www.qiushibaike.com/imgrank/page/'

for i in range(start_page, end_page + 1):
    print(i)
    url = base_url + str(i)

    response = requests.get(url=url, proxies=proxies, headers=headers)
    page_text = response.text
    img_list = re.findall('<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>', page_text, re.S)
    for url in img_list:
        img_url = 'https:' + url
        # 持久化处理
        img_data = requests.get(url=img_url, proxies=proxies, headers=headers).content
        imgName = url.split('/')[-1]
        withPath = 'img2/' + imgName

        with open(withPath, 'wb')as f:
            f.write(img_data)
            print(imgName + "写入成功")