8.爬虫必备基础（xpath）

xpath

1、xpath安装与使用

安装

• 安装lxml库

  pip install lxml -i pip源

2、解析流程与使用

解析流程

• 实例化一个etree的对象，把即将被解析的页面源码加载到该对象
• 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取

使用

• 导入lxml.etree

  from lxml import etree

• etree.parse()

  解析本地html文件

  html_tree = etree.parse(‘XX.html’)

• etree.HTML()(建议)

  解析网络的html字符串

  html_tree = etree.HTML(html字符串)

• html_tree.xpath()

  使用xpath路径查询信息，返回一个列表

注意：如果lxml解析本地HTML文件报错可以安装如下添加参数

parser = etree.HTMLParser(encoding="utf-8")
selector = etree.parse('./lol_1.html',parser=parser)
result=etree.tostring(selector)

3、xpath语法

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

• 路径表达式

  表达式	描述
  /	从根节点选取。
  //	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
  ./	当前节点再次进行xpath
  @	选取属性。

  实例

  在下面的表格中，我们已列出了一些路径表达式以及表达式的结果：

  路径表达式	结果
  /html