qq_42553568的博客

一.创建项目 1.使用scrapy startproject 项目名 来创建项目 创建的项目如下图所示 再进入spiders文件夹下执行 scrapy genspider 爬虫名 网址 来创建爬虫项目 如下图所示 创建完成后在查看项目结构 可以看到spiders文件夹下多了csdn.py文件 该文件就是爬虫项目文件 我们就在这里编辑爬虫的逻辑代码 二常用settings设置 # -*- co...

一. 在用imagepipeline下载图片时重复url不会被下载, 但是我就要要重复下载 刚开始用了dont_filter=True发现没用.上网找了下,网上说要注释imagepipeline的爷爷 MediaPipeline中的_process_request方法中的 # Return cached result if request was already seen if f...