Xpath：爬虫用途简要介绍

Xpath的安装

pip install lxml

生成 HTML 的 DOM 树：

from lxml import etree

page = etree.HTML(html_doc)

page.xpath('//a[@title="data"]')  #通过[]来指定标签内属性，@来指定属性

获取两种class的对应链接：/@href

page.xpath('//table[@id = "play"]/tr[@class = "odd" or "even"]/td[@class="text-left"]/a/@href')

通过 text() 与 string() 方法来获得其中的文本：

page.xpath('//li/a/text()')
page.xpath('string(//li[1]/a)')