Python3直接爬取图片URL并保存

最新推荐文章于 2024-05-02 17:43:47 发布

追海的老人

最新推荐文章于 2024-05-02 17:43:47 发布

阅读量4.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： Python

本文链接：https://blog.youkuaiyun.com/Tele_Anti_Nomy/article/details/88092012

本文介绍了一个简单的Python3爬虫项目，用于从网络获取图片URL并保存。内容涵盖获取地址策略、使用urllib请求图片、异常处理、重连机制以及使用修饰器优化代码效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有时候我们会需要从网络上爬取一些图片，来满足我们形形色色直至不可描述的需求。

一个典型的简单爬虫项目步骤包括两步：获取网页地址和提取保存数据。

这里是一个简单的从图片url收集图片的例子，可以成为一个小小的开始。

获取地址

这些图片的URL可能是连续变化的，如从001递增到099，这种情况可以在程序中将共同的前面部分截取，再在最后递增并字符串化后循环即可。

抑或是它们的URL都保存在某个文件中，这时可以读取到列表中：

def getUrls(path):
    urls = []
    with open(path,'r') as f:
        for line in f:
            urls.append(line.strip('\n'))
    return(urls)

保存图片

在python3中，urllib提供了一系列用于操作URL的功能，其中的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。具体细节请看注释：

def requestImg(url, name, num_retries=3):
    img_src = url
    # print(img_src)
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
        AppleWebKit/537.36 (KH

最低0.47元/天解锁文章

200万优质内容无限畅学