baidu_32542573的博客

visualCppBuildTools_Full.exehttp://landinghub.visualstudio.com/visual-cpp-build-tools 如果安装过程中提示time out,那么采用下面的命令来安装

1*****2************3*************

架构图(1).旧版(2).最新版组件Scrapy Engine引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。调度器(Scheduler)调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。下载器(Downloader)下载器负责获取页面数据并提供给引擎，而后提供给spider。SpidersSpider是Scrapy用户编写用于分析response...

scrapy crawl 爬虫名称 -o 文件名.json 或 文件名.csv可以将爬取的数据保存为对应类型的文件

scrapy框架的中文文档：http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html爬虫框架:Scrapy PySpider SeleniumSelenium:自动测试的一个框架使用pycharm打开爬虫项目

1.首先在item.py中写入import scrapyclass MyItem(scrapy.Item): image_urls = scrapy.Field() #保存图片地址 images = scrapy.Field() #保存图片的信息2.在setting.py中写入（首先在settings.py中设置下载通道，下载路径以下载参数） ...

http://www.shangyang.me/2017/07/20/scrapy-learning-4-spiders/