本文详细介绍了Scrapy中的数据提取机制，包括如何通过response对象使用XPath、CSS和正则表达式选择器获取和解析HTML内容，以及Selector类提供的各种方法如extract()、get()等.
Scrapy_数据的提取
Scrapy有自己的数据提取机制。它们被称为选择器。我们可以通过使用的选择器re、xpath、css提取数据
提示
不用再安装与引入Xpath,BS4
1 获得选择器
1.1 Response对象获取
正常使用
response.selector.xpath('//span/text()').get()
response.selector.css('span::text').get()
response.selector.re('<span>')
快捷使用
response.xpath('//span/text').get()
response.css('span::text').get()
2 创建对象
from scrapy.selector import Selector
通过text参数 初始化
body = '<html><body><span>good</span></body></html>'
Selector(text=body).xpath('//span/text()').get()
通过response参数 初始化
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
response = HtmlResponse(url='http://example.com', body=body)
Selector(response=response).xpath('//span/text()').get()
'good'
3 选择器的方法
| S.N. | 方法 & 描述 |
|---|---|
| extract()、getall() | 它返回一个unicode字符串以及所选数据 |
| extract_first()、get() | 它返回第一个unicode字符串以及所选数据 |
| re() | 它返回Unicode字符串列表，当正则表达式被赋予作为参数时提取 |
| xpath() | 它返回选择器列表，它代表由指定XPath表达式参数选择的节点 |
| css() | 它返回选择器列表，它代表由指定CSS表达式作为参数所选择的节点 |
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
