XPath--解析Html

最新推荐文章于 2023-02-18 10:20:49 发布

转载最新推荐文章于 2023-02-18 10:20:49 发布 · 756 阅读

文章标签：

#java爬虫 #html解析 #xPath #爬虫 #web magic

java 专栏收录该内容

18 篇文章

订阅专栏

本文介绍如何使用XPath进行网页数据抓取，包括基本的XPath路径表达式、获取HTML对象的方法及常见应用场景。并提供实用技巧和学习资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导语：爬虫爬取的界面，大致分为静态界面、ajax异步加载、动态界面。静态界面直接获取HTML对象，然后使用XPath获取值

最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
.	选取当前节点。
..	选取当前节点的父节点。
@	选取属性。

一、获取HTML对象

//import us.codecraft.webmagic.selector.Html;
Html html= page.getHtml();

二、常用列举

//查询所有id=‘ne_article_source’的节点的文本值
String source=page.getHtml().xpath("//*[@id='ne_article_source']/text()").get();

//查询所有id=‘endText’下p节点的文本，查询的是列表
List<String> contextList=page.getHtml().xpath("//*[@id='endText']/p/text()").all();

//查询所有id='endText'下p包含的图片的src列表
List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img/@src").all();

//查询所有id='endText'下p包含的图片对象列表
List<String> imgurlList=page.getHtml().xpath("//*[@id='endText']/p/img").all();