关于爬虫 Request对象与Response对象讲解

Request对象：

Request对象在我们写爬虫，爬取一页的数据需要重新发送一个请求的时候调用，这个类需要传递一些参数，其中比较常用的参数有：
1. url: 这个request对象发送请求的url
2. callback：在下载器下载完相应的数据后执行的回调函数
3. method：请求的方法：默认GET方法， 可以设置为其他方法
4. headers：请求头，对于一些固定的设置，放在setting.py中指定个就可以了。对于那些非固定的，可以在发送
请求的时候指定。
5. meta：比较常用 用于在不同的请求之间传递数据用的
6. encoding：编码。默认的为utf-8，使用默认的就可以了
7. dot_filter：表示不由调度器过滤，在执行多次重复的请求的时候用得比较多
8. errback：在发生错误的时候执行的函数

Response对象：
Response对象一般是由 Scrapy 给你自动构建的，因此开发者不需要关心如何创建 Response 对象，而是如何使用
Response对象有很多属性，可以用来提取数据的，主要有：
1. meta：从其他请求传过来的 meta 属性， 可以用来保持多个请求之间的数据连接。
2. encoding：返回当前字符串编码和解码的格式。
3. text：将返回来的数据作为 unicode 字符串返回
4. body：将返回来的数据作为 bytes 字符串返回
5. xpath: xpath选择器
6. css：css选择器