Request和Response对象讲解

Request对象在我们写爬虫,爬取一页的数据需要重新发送一个请求的时候调用,这个类需要传递一些数,其中比较常用的参数
有:
1.ur1:这个 request对象发送请求的url
2.callback:在下载器下数完相应的放据后执行的回调数,
3.method:请求的方法。默认为GET方法,可以设置为其他方法
4.headers:请求头,对于一些固定的设置,放在settings.py中指定就可以了,对于那些非固定的,可以在发送请求的时指定
5.meta:比较常用。用于在不同的请求之间传递据用的
6. encoding:编码。默认的为UTF-8,使用默认就可以了
7. dot_filter:表示不由调度器过滤。在执行多次重复的请求的时候用得比较多
8. errback:在发生错误的时候执行的函数
Response对象
Response对象ー般是由scrapy给你自动构建的・因此开发者不需关心知何创建Response对象,而是如何使用他。Response对象有很多属性,可以用来提取数据的。主更有以下属性：
1.meta:从其他请求传过来的meta属性,可以用来保持多个请求之间的数连接・
2.encoding:返回当前字出编码和解码的格式。
3.text:将返回来的数据作为 unicode字符出返回。
4.body:将返回来的数据作为bytes字符出返回。
5 xpath: xanth选择器。
6.css:css选择器