《Xpath解析网页实验》数据采集实验报告

实验1.2 Xpath解析网页实验

一、实验目的

（1）掌握Xpath的语法知识

（2）掌握etree模块的使用方法

（3）掌握在动态网页种直接获取Xpath路径方法。

二、实验内容与步骤

（1）导入Requests库，设获取网站资源。

（2）使用Chrome开发者工具复制网站“热门话题”部分的第一个新闻标题文本及超级链接的Xpath路径

（3）打印取得的文本内容及超连接地址。

程序代码：

import requests

from lxml import etree

response = requests.get('http://www.tipdm.com/tipdm/gsjj/')

selector =  etree.HTML(response.text)

news_text = selector.xpath('/html/body/div[2]/div/div[2]/section/div[2]/h2/a/text()')[0]

news_href = selector.xpath('/html/body/div[2]/div/div[2]/section/div[2]/h2/a/@href')[0]

print(news_text)

print(news_href)

 

实验结果：

三、实验心得

在本次实验中，我主要学习了Xpath的语法知识和etree模块的使用方法。Xpath是一种用于在XML文档中定位元素的语言，通过使用不同的路径表达式，可以快速准确地定位到所需的元素。在实验中，我使用了etree模块来解析XML文档，并通过Xpath来提取所需的数据。

通过本次实验，我不仅掌握了Xpath的语法知识和etree模块的使用方法，还学会了在动态网页中直接获取Xpath路径。这些知识和技能对于我在日后的工作和学习中都具有重要的意义。