爬取图片并存入文件夹中

最新推荐文章于 2024-03-12 15:25:27 发布

tuyuanbao123

最新推荐文章于 2024-03-12 15:25:27 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/tuyuanbao123/article/details/80549757

这段代码展示了如何使用Python的urllib和re模块从网页上抓取图片，并将其保存到本地文件夹中。首先定义了一个`handler_url`函数来处理URL请求，然后通过正则表达式`search_img`函数从HTML内容中提取图片链接。最后，`download`函数用于下载这些图片，保存在名为'tupian'的文件夹下。用户可以输入起始页和结束页来爬取指定范围的图片。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request
import urllib.parse
import re

def handler_url(page,base_url):

    url = base_url + str(page) + '/'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
    }
    request = urllib.request.Request(url=url,headers=headers)
    response = urllib.request.urlopen(request)
    return response.read().decode('utf-8')

def search_img(html):
    pattern = re.compile(r'<div class="thumb">.*?<img src="(.*?)" alt=.*?/>.*?</div>',re.S)
    img_list = pattern.findall(html)
    return img_list

def download(img_url):
    img_url = 'https:' + img_url
    filename = img_url.split('/')[-1]
    filename = './tupian/' + filename
    urllib.request.urlretrieve(img_url,filename=filename)


def main():
    base_url = 'https://www.qiushibaike.com/pic/page/'
    start_page= int(input('输入起始页：'))
    end_page = int(input('输入结束页：'))
    for page in range(start_page,end_page+1):
        html=handler_url(page,base_url)  # 处理url
        img_list = search_img(html)  # 正则搜索
        print(img_list)
        for img_url in img_list:
            download(img_url)


if __name__ == '__main__':
    main()