scrapy中的css,xpath快速测试

在编写爬虫时。我们经常要写css,xpath来对网页中的信息进行提取。由于刚开始学习，语法不够熟练，不能正确的提取网页信息，经常导致爬虫报错。在运行爬虫前，对我们提取网页信息的css,xpath进行测试是非常重要的。

• shell

scrapy shell [url]

以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。

scrapy shell http://www.baidu.com

并且启动交互式命令行，可以用来做一些测试。

response.body  # 网页响应正文 byte类型
response.text  # 网页响应正文 str类型
response.css()  # css选择器
repsonse.xpath()  # xpath选择器
response.css().re()
response.xpath().re()