scrapy提取数据之：xpath选择器 xpath选择 属性值 text string 几种结果

 

css/ xpath选取文字

• response.css("p::text").extract()
• response.xpath("//div[@class='post-content']//text()").extract()

scrapy提取数据之：xpath选择器    http://www.scrapyd.cn/doc/186.html

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

那我们要提取href就是：@href，试一下：

In [1]: response.xpath("@href")

 

response.xpath("//ol//@href")
和css选择器一样我们还是用到了：extract（）、extract_first()这两个函数，加上就可以提取纯粹的href值了，如下：
In [11]: response.xpath("//ol[@class='page-navigator']//@href").extract()

二、接下来我们提取标签里面的内容，表达式： //text()

特别注意  是双反斜杠
response.xpath("//title//text()").extract()

 

三、包含HTML标签的所有文字内容提取：string()
你会发现虽然能提取但是一个列表，不是整段文字：

In [4]: response.xpath("//div[@class='post-content']//text()").extract()
可看到我们没有使用：text()，而是用：string(要提取内容的标签)，这样的话就能把数据都提取出来了，而且都合成为一条，并非一个列表

热门后缀：全选.com.cn.net.org.info.com.cn.cc.top.me.xin中文后缀：全选.中国.公司.网络.商城.我爱你.网店自定义：请输入后缀，如：TV

 

转载于:https://www.cnblogs.com/stillstep/p/11100030.html