scrapy爬取图片，自定义图片下载路径和图片名称

最新推荐文章于 2025-05-13 09:04:26 发布
原创 最新推荐文章于 2025-05-13 09:04:26 发布 · 1.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Scrapy项目中如何自定义图片下载路径和图片文件名，以适应爬取奢侈品网站图片的需求。通过修改ImagesPipeline的源码，实现了将不同网站的图片保存在相应目录，并设置特定的图片名称。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在做一个爬去某奢侈品网站图片的项目，需要把不同网站上爬取得图片放在不同的目录下，而且需要自定义图片的名称，图片下载一般都会用到ImagesPipeline,因此，通过查看源码，在Python3-scrapy1.5版本下，代码如下：

pipeline.py中添加如下代码：

class GoodsImagePipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
最低0.47元/天 解锁文章

200万优质内容无限畅学
使用scrapy爬取图片
江玉郎
08-11 1万+
一 半自定义方法 这里我们以美食杰为例，爬取它的图片，作为演示，这里只爬取一页。美食杰网址 1 首先我们在命令行进入到我们要创建的目录，输入 scrapy startproject meishi, 接着根据提示cd meishi， 再cd meishi, , 下来写 scrapy genspider mei meishij.net ,生成如图所示文件。 （关于以上命令的讲解不在这次写的...
怎么用Scrapy爬取网站图片？
cnfengzheng的博客
07-19 1062
使用Scrapy爬取网站图片并下载（使用XPATH路径来获取图片链接）。 对爬取成功的图片连接入库。
Scrapy图片下载，自定义图片名字
weixin_30635053的博客
05-31 324
学习Scrapy过程中发现用Scrapy下载图片时，总是以他们的URL的SHA1 hash值为文件名，如： 图片URL：http://www.example.com/image.jpg 它的SHA1 hash值为：3afec3b4765f8f0a07b78f98c07b83f013567a0a 则下载的图片为：3afec3b4765f8f0a07b78f98c07b83f013567a0a....
scrapy自定义文件夹和文件名
之度的博客
10-15 764
第一步：在爬虫.py中找出要下载图片的链接 #爬虫.py item=DemoItem() image_title=response.xpath('//div[@class="basic-line"]/div[1]/div[1]/div[2]/h1/a/@title').extract() image_urlList=response.xpath('//div[@class="out clearfix"][1]/div[1]/div[1]/div[1]/
头歌：Scrapy爬虫之网站图片爬取
最新发布
hngcxy2022的博客
05-13 904
【代码】头歌：Scrapy爬虫之网站图片爬取。
Scrapy 图片下载，自定义图片名称，request.meta 的使用
Herishwater的博客
03-20 506
Scrapy图片下载，自定义图片名称，request.meta的使用scrapy爬取图片自定义图片名称 scrapy爬取图片自定义图片名称 以下以下载煎蛋网图片为例子（http://jandan.net/ooxx/page-1#comments） 软件版本：Python3.7 Scrapy(1.5.1) from scrapy.pipelines.images import ImagesPipe...
scrapy——爬取漫画自定义存储路径下载到本地
水月洞天
06-01 2504
@scrapy-——爬取漫画自定义存储路径下载到本地OC 1.新建项目以及主爬虫文件 scrapy startproject comic cd comic scrapy genspider Comic manhua.sfacg.com 注意以上命令是在cmd界面操作的 2.在项目下新建main.py文件，编写代码如下： from scrapy import cmdline cmdline.exe...
Scrapy下载图片及自定义分类下载路径
angbini7012的博客
09-17 511
配置下载图片的流程如下 在items中定义两个属性，image_urls 和images 。image_urls是用来存储需要下载的图片url链接，列表类型； 当文件下载完成后会把相关下载信息存入images属性中，如下载的url和图片校验码等； 在配置文件settings中配置IMAGES_STORE用来指定下载的路径； 启动pipeline，在settings中的ITEM_PIPE...
用scrapy爬取下载某图片网站的全部图片
08-20
通过以上步骤，你可以用Scrapy成功地爬取和下载一个图片网站的全部图片。记住，进行网络爬虫时要尊重网站的robots.txt规则，并遵循道德的网络爬虫实践。在实际应用中，还可能需要处理登录、验证码、动态加载等内容，...
爬虫实战——scrapy框架爬取多张图片
什么时候才不是菜鸟....
03-05 1204
scrapy框架；爬取图片
scrapy爬取图片并自定义图片名字
weixin_30698527的博客
12-28 442
1 前言 　　Scrapy使用ImagesPipeline类中函数get_media_requests下载到图片后，默认的图片命名为图片下载链接的哈希值，例如：它的下载链接是http://img.ivsky.com/img/bizhi/pre/201101/10/harry_potter5-017.jpg，哈希值为7710759a8e3444c8d28ba81a4421ed,那么最终的图片下...
Scrapy抓取美女图片并且保存
01-03
通过Scrapy框架下载保存美女图片，进而学习下Spider中间件（Spider Middlewares）相关知识
scrapy下载图片到指定目录，创建缩略图，存储入库
anliu4881的博客
04-20 266
环境和工具：python2.7，scrapy 实验网站：http://www.XXXX.com/tag/333.html 爬去所有兔女郎图片，下面的推荐需要过滤 逻辑：分析网站信息，下载图片和入库需要开启ITEM_PIPELINES，开启缩略图配置，转移图片 -----settings.py ##不按照robots.txt ROBOTSTXT_OBEY = False ...
【Scrapy 图片和文件】scrapy自定义图片下载挂件功能板块
之度的博客
03-13 280
1.浏览器头来伪装爬虫、设置代理Ip 在setting.py或者在自定义的ImagesPipeline中设置USER_AGENT。原理图片管道相当于一个中间件，中间件把response发送的请求拦截下来，然后加以修改再修饰。 比如： #例如，在自定义管道上边添加 def get_media_requests(self, item, info): image_url...
Python批量爬取图片并以特定名称命名
Your_Majesty！的博客
10-15 3860
Python批量爬取图片并以特定名称命名 有时因工作或兴趣，需要从网上爬取大量图片并重命名，数据少了还好说，要是成百上千，/(ㄒoㄒ)/~~ 程序员最大的动力就是懒呀！ 几行代码，解放双手，机器该做的事就交给机器。 让我们开始吧！ 准备： 1.Python IDLE 或者 Pycharm等 2.一个图片链接txt文件，数据之间需要换行(非txt文件或数据间非空行可自行根据需要修改代码) 3.一个图片名字txt文件，数据之间需要换行（同上） #通过多个图片链接批量爬取图片并以特定名称命名 #Author Yo
Scrapy框架之利用ImagesPipeline下载图片
weixin_33860722的博客
05-29 870
1.ImagesPipeline简介 Scrapy用ImagesPipeline类提供一种方便的方式来下载和存储图片。 特点： 将下载图片转换成通用的JPG和RGB格式 避免重复下载 缩略图生成 图片大小过滤 2.ImagesPipeline工作流程 当使用图片管道 ImagePipeline,典型的工作流程如下: 在一个爬虫里,你抓取一个项目,把其中图片的URL放入image_urls组...
scrapy爬取图片保存
08-26
您好！对于使用Scrapy爬取图片并保存的问题，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Scrapy库。如果没有安装，可以通过以下命令进行安装： ``` pip install scrapy ``` 2. 创建一个新的Scrapy项目。在命令行中使用以下命令： ``` scrapy startproject project_name ``` 这将在当前目录下创建一个名为 "project_name" 的新项目文件夹。 3. 进入项目文件夹，并创建一个新的Spider。在命令行中使用以下命令： ``` cd project_name scrapy genspider spider_name example.com ``` 这将在项目中创建一个名为 "spider_name" 的新Spider，用于定义爬取网页的规则。 4. 打开生成的Spider代码文件（位于 "project_name/spiders/spider_name.py"），并添加以下代码： ```python import scrapy class MySpider(scrapy.Spider): name = 'spider_name' start_urls = ['http://www.example.com'] # 要爬取的起始URL def parse(self, response): # 在这里编写解析响应数据的代码 # 提取图片URL并发送请求进行下载 for img_url in response.css('img::attr(src)').getall(): yield scrapy.Request(url=response.urljoin(img_url), callback=self.save_image) def save_image(self, response): # 获取图片保存路径 image_path = 'path/to/save/image.jpg' # 根据需求自定义保存路径和文件名 # 保存图片 with open(image_path, 'wb') as f: f.write(response.body) ``` 在上述代码中，我们定义了一个Spider类，包含了起始URL和解析响应数据的方法。在parse方法中，我们使用CSS选择器提取图片的URL，并使用scrapy.Request发送请求进行下载。下载后的图片会通过save_image方法保存到本地。 5. 运行爬虫。在命令行中使用以下命令： ``` scrapy crawl spider_name ``` 这将启动爬虫并开始爬取网页上的图片。下载的图片将保存在您指定的路径下。 请注意，上述代码只是一个简单示例，您可能需要根据具体的网页结构和需求进行相应的修改。另外，确保您遵守网站的爬取规则并尊重版权。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值