python爬虫之lxml库的基本使用(附实战训练以及应用)

源码请点赞收藏关注后私信博主要

通过urllib库可以模拟请求 得到网页的内容 但是在大多数情况下我们并不需要整个网页 而知需要网页中某部分的请求 可以利用解析库lxml迅速 灵活的处理HTML或XML 提取需要的信息 另外 该库支持XPath的解析方式 效率也非常高 

1：安装lxml库

pip install lxml

也可以参考我这篇博客

倒入库

2：XPath语法速成

Xpath XML路径语言 用于在XML文档中查找信息 它既适用于XML文档的搜索 也适用于HTML 其核心是按照规则 通过编写路径选择表达式来筛选节点

2.1：绝对路径和相对路径

绝对路径：用/表示从根节点开始选择

相对路径：用//表示选择任意位置的节点 而不考虑他们的位置

另外可以使用*通配符来表示未知的元素

2.2：选择分支定位

存在多个元素想唯一定位可以用[]来选择分支

下面通过实战来巩固lxml库的用法