warm_man的博客

python结合scrapy爬取淘宝商品信息一、功能说明：已实现功能：通过scrapy接入selenium获取淘宝关键字搜索内容下的商品信息。待扩展功能：爬取商品中的全部其他商品信息。二、代码解读：1、创建项目首先得创建一个scrapy项目，若不会的请看其他创建scrapy项目的博客文章或者我的这篇scrapy安装介绍scrapy安装与创建项目然后得明白scrapy框架是如何去部署爬虫的，看大图：2、scrapy工作流程文字解释引擎（Scrapy Engine）从调度

看大图：1、引擎发送response对象给爬虫中间件中的输入信息处理函数：process_spider_input，之后该函数会返回None或者引发异常。（1）. 图中以1代表返回的是None，2代表引发的异常，若返回None,则继续调用下一个爬虫中间件中的同类函数处理，直至传递给爬虫。（2）.若任一爬虫中间件中该类函数引发异常则调用request对象的errback方法（前提是定义了该方法，若未定义则会进入process_spider_exception处理链中）。2、爬虫得到resp

scrapy框架的安装与创建项目scrapy安装：相信第一次安装scrapy框架都会遇到各种安装不上的问题！哈哈，别问我为啥知道！那我分享下我是如何安装scrapy框架的。首先安装scrapy框架之前需要先安装几个依赖的库依照顺序分别是 zope.interface、 pyOpenSSL、 libxml2dom、 twisted、 lxml、最后再安装Scrapy-i 后边是国内源链接这儿给大家列几个国内源链接：阿里云 http://mirrors.aliyun.com/pypi/