執筆冩回憶

1、创建Scrapy项目 scrapy startproject qidian 2.进入项目目录，使用命令genspider创建Spider scrapy genspider wanben qidian.com 3、定义要抓取的数据（处理items.py文件） import scrapy class QidianItem(scrapy.Item): # define the fields for your item here like: # 书名 book_name

ImagePipelineScrapy用ImagesPipeline类提供一种方便的方式来下载和存储图片。需要PIL库支持。主要特征将下载图片转换成通用的JPG和RGB格式避免重复下载缩略图生成图片大小过滤工作流程爬取一个Item，将图片的URLs放入image_urls字段从Spider返回的Item，传递到Item Pipeline当Item传递到ImagePipeline，将调用Scrapy...

import requests # 图片地址 url = 'http://www.open-open.com/bbs/uploadImg/20160107/20160107133856_341.jpg' html = requests.get(url) # 将图片保存到D盘 with open("D:/1.jpg","wb")as f: f.write(html.content) ...