scrapy总结

 

异步和同步指的是过程，阻塞和非阻塞指的是状态

scrapy中重要的是怎样写xpath来取数据，怎么样处理数据，还有怎样进行数据的保存。

创建一个scrapy 项目就是创建了一个scrapy文件夹。还要在 cd 到这个文件夹下面创建爬虫。

1 .scrapy startproject mySpiser （创建一个工程的文件）

2.scrapy genspider itcast itcast.cn (在控制台那在那里面创建一个spider)

可以定义多个pipeline ，如一个pipeline进行数据的处理，一个pipeline进行数据的保存。

 

3.创建CrawlSpider类的爬虫：

scrapy genspider  -t  crawl  爬虫的名字   域名   他 -t表示的是使用crawl这个模板。

 

scrapy  Request对象在我们写爬虫,爬取一页的数据需要重新发送一个请求的时候调用,这个类需要传递一些参数,其中比较常用的参数有
1.ur1:这个 request对象发送请求的url

2.callback:在下载器下载完相应的数据后执行的回调函数。

3. method:请求的方法。默认为get方法,可以设置为其他方法。

4.headers:请求头,对于一些固定的设置,放在srttings.py中指定就可以了,对于那些非固定的,可以在发送请求的时候指定。

5.meta:比较常用。用于在不同的请求之间传递数据用的。如两个页面之间共享数据，可以把第一页爬取到的数据共享到详情页。

6.enconding:编码。默认为utf-8,使用默认的就可以了。

7. dot_filter:表示不由调度器过滤。在执行多次重复的请求的时候用得比较多。默认为ture，即是一个url发送过一次了，调度器不会重新调度让它去发送。但是是你可以把他设置为flase。就可以反复发送，如登录的页面用到。反复登录，直到成功。

8. errback:在发生错误的时候执行的函数。

 

 

Response对象:
Response对象一般是由 Scraps给你自动构建的。因此开发者不需要关心如何创建 Response对象,而是如何使用他。 Response对象有很多属性,可以用来提取数据的。主要有以下属性

1.meta:从其他请求传过来的meta属性,可以用来保持多个请求之间的数据连接。即数据共享

2. encoding:返回当前字符串编码和解码的格式。

3.text:将返回来的数据作为 unicode字符串返回。返回text是经过编码的.

4.body:将返回来的数据作为 bytes字符串返回。没有经过解码的。在网络和硬盘之间传递的。如果text解码不对，就可以用body去重新指定解码。

5. xpath: xpath选择器。
6.css:css选择器

 

 

发送post请求
有时候我们想要在请求数据的时候发送post请求,那么这时候需要使用 Request的子类 FormRequest来实现。如果想要在爬虫一开始的时候就发送post请求,那么需要在爬虫类中重写 start_request(self)方法,并且不再调用start_urls里的url。如果不重写，那么它就会发送star_urls里面的url,默认的是get请求。所以想要发送post请求，建议重写 start_request(self)方法。

登录一般是发送post请求，想找到登录的接口，先找到from表单，from表单里面的action就是登录的链接，有时候是完整的链接，有时候是拼接的，即是前面还有加上主域名的。在谷歌浏览器里面选择查找的那个箭头，直接点击那个表单就能找到。

 

Downloader Middlewares(下载器中间件)

下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理、更换请求头等来达到反反爬虫的目的。要写下载器中间件,可以在下载器中实现两个方法。一个是process_requests(self,requests,spider)这个方法是在请求发送之前会执行,还有一个是process_response(self,response,spider)这个方法是数据下载到引擎之执行。process_request(self, request, spider)这个方法是下戟器在发送请求之前会执行的。一般可以在这个里面设置随机代理ip等。

1.参数
° request:发送请求的 requests对象:.。

spider:发送请求的spider对象。

2返回值:
返回None:如果返回None, Scrapy将继续卖处理该 Request,执行其他中间件中的相应方法,直到合适的下载器处理函数被调用
°返回 Response对象: Scrapy将不会调用任何其他的 process_request方法,将直接返回这个 response对象。已经激活的中间件的 process_response()方法则会在每个 response返回时被调用.

返回 Request对象:不再使用之前的 request对象去下载数据,而是根据现在返回的 request对象返回数据。如果这个方法中抛出了异常,则会调用 process_exception.方法。

 

 

process_response(self, request, response, spider)这个是下载器下载的数据到引擎中间会执行的方法。（就是返回的 时候）

1.参数:
° request: request对象。

° response:被处理的 response对象。

° spider:spider对象
2返回值:
°返回 Response对象:会将这个新的 response对象传给其他中间件,最终传给爬虫。

返回 Request对象:下载器链被切断,返回的 request会重新被下载器调度下载。

如果批出一个异常,那么调用 request的 errback方法,如果没有指定这个方法,那么会抛出一个异常。

随机请求头中间件:
爬虫在频繁访问一个页面的时候,这个请求头如果一直保持一致。那么很容易被服务器发现,从而禁止掉这个请求头的访问。因此我们要在访问这个页面之前随机的更改请求头,这样才可以避免爬虫被抓。随机更改请求头,可以在下载中间件中实现。在请求发送给服务器之前,随机的选择一个请求头。这样就可以避免总使用一个请求头。