爬虫实战：一键爬光指定网站所有图片（一）

最新推荐文章于 2024-12-29 01:26:37 发布

原创

最新推荐文章于 2024-12-29 01:26:37 发布 · 655 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了一个图片爬虫项目的实现过程，包括如何从指定网站抓取图片并保存到本地，涉及Python编程、网络请求、正则表达式和文件操作。

前言：

最近自己在做图片处理工具，最开始的初衷只是为了做一个图片深度学习项目，做的时候缺少大量的图片素材，手动去下载自己又是比较懒，并且操作起来非常的麻烦，于是自己写了一个单页面全图片的爬虫，等自己实现完功能之后，发现又有很多功能是可以优化的，于是在这个基础上我又做了一下功能升级，最终出了一个爬取指定网站所有图片的版本，当然，这个版本还有很多可以优化的点，我会在下面的实际过程中进行说明。本篇着重说明指定页面的图片抓取。

项目目标：

指定某一页面进行图片资源进行爬取，保存到本地硬盘。

项目分析：

1、本项目我们要实现某一个指定网站的页面URL，也就是提取href的链接。并将所有的内链创建到下一个任务当中去。

2、除了页面中的href链接，我们还要读取页面中所有图片元素，通过get方式进行访问，读取后保存。

简单分析了一下，我们开始代码的实现

首先完成第2项的功能，我们要将页面图片元素提取出来，并写入到一个指定的文件目录当中，根据url中的文件名进行保存处理，考虑到我们未来功能复用性，所以我单独为单页面文件下载实现了一个类，（当然最终实现之后，发现Python中存在一些问题，这里我们在尾部再做解释）

我们先定义一个类，这里命名叫“DownloadImage.py”，因为是通过curl方式进行抓取采集图片列表，我们要定义一个header头属性，以及一个保存图片的本地的地址，定义代码如下：

headers = {
# 用户代理
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}
_downloadDir = './img/'

因为这个类我们要复用，所以单独放到一个py文件中，方便后面进行引用。

在类的构造方法中，我们需要进行一个参数的初始化。为了下载指定页面的图片，那么我们需要指定一个页面（必要参数），为了路径可定义