cod16xx的博客

#items.pyimport scrapyclass JiandanItem(scrapy.Item): # define the fields for your item here like: image_urls = scrapy.Field() image=scrapy.Field() #spider.py# -*- coding: utf-8 -*-impor

# -*- encoding: utf-8 -*-import loggingimport sysimport scrapyfrom scrapy.spiders import CrawlSpider,Rulefrom scrapy.linkextractors import LinkExtractorfrom scrapy.http import Request,FormRequest,

转载来源http://blog.youkuaiyun.com/xnby/article/details/52297047]首先拿来主义一下scrapy的架构图：组件Scrapy Engine引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。调度器(Scheduler)调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。下载器(Downloader)下载器

安装scrapyd 安装scrapyd-client 安装curl安装scrapyd-client后，scrapyd-deploy再windows下无法执行，需要 在虚拟环境的Scripts中新建scrapyd-deploy.bat,写入以下代码 例子，我的虚拟环境是venv3@echo offF:\sscrapy\venv3\Scripts\python F:\sscrapy\venv3