XML：Jsoup/Xpath

关注

原创最新推荐文章于 2026-06-01 11:48:16 发布 446 阅读 AI 写同款· GEO 优化 ›

爬虫基础练习: 基于 java + Jsoup + xpath 爬取51job网站最基本的网页爬虫练习爬取51jb网站,并将数据写入Excel中需要导入jsoup包和POI相关包 JSoup简介 jsoup是一款Java的HTML解析器，主要用来对HTML解析, 可通过DOM，CSS以及类似于jQuery的操作方法取出和操作数据。主要功能从一个URL，文件或字符串中解析HTML 使用DOM或CSS选择器来查找、取出数据使用DOM或CSS选择器来查找、取出数据可操作HTML元素、属性、文本可操作HTML元素、属性、文本 XPath XPath，全称 XML Path L 阅读详情

Content:

    1. Jsoup：页面解析工具
    2. 对象的使用
    3. 快捷查询

一、`Jsoup`：页面解析工具

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。使用教程
快速入门：
1. 新建一个普通的JavaSE项目，导入jar包 jsoup-1.12.1.jar下载链接
2. 获取Document对象
3. 获取对应的标签Element对象
4. 获取数据

代码：

public class JsoupDemo1 {
    public static void main(String[] args) throws IOException {
        //1.导入jsoup工具的jar包
        //2.获取Document对象，根据xml文档获取
        //2.1获取student.xml的path
        String path = JsoupDemo1.class.getClassLoader().getResource("student.xml").getPath();
        //2.2解析xml文档，加载文档进内存，获取dom树-->Document
        Document document = Jsoup.parse(new File(path), "utf-8");
        //3.获取元素对象Element
        Elements elements = document.getElementsByTag("name");
        System.out.println(elements.size());
        //3.1获取第一个name的Element对象
        Element element = elements.get(0);
        //3.2获取数据
        String name = element.text();
        System.out.println(name);
    }

}

二、对象的使用：

1. Jsoup：工具类，可以解析html或xml文档，返回Document

Jsoup.parse( );

  	 * parse：解析html或xml文档，返回Document
  	 * parse(File in, String charsetName)：解析xml或html文件的。
  	 * parse(String html)：解析xml或html字符串
  	 * parse(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象（做爬虫小程序）

/**
 * Jsoup对象功能
 */
public class JsoupDemo2 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo2.class.getClassLoader().getResource("student.xml").getPath();
        //解析xml文档，加载文档进内存，获取dom树--->Document
        Document document = Jsoup.parse(new File(path), "utf-8");
        System.out.println(document);

       //2.parse(String html)：解析xml或html字符串
        String str = "xml或者是HTML内容";
        Document document = Jsoup.parse(str);
        System.out.println(document);

       //3.parse(URL url, int timeoutMillis)：通过网络路径获取指定的html或xml的文档对象
        URL url = new URL("https://baike.baidu.com/item/jsoup/9012509?fr=aladdin");//代表网络中的一个资源路径
        Document document = Jsoup.parse(url, 10000);
        System.out.println(document);

    }

}

2. Document：文档对象。代表内存中的dom树

document.getElementsByTag(“student”);
Elements elements1 =document.getElementsByAttribute(“id”);

一般得到是某标签和其子标签对、及其内容

  	* 获取Element对象
  	* getElementById(String id)：根据id属性值获取唯一的element对象
  	* getElementsByTag(String tagName)：根据标签名称获取元素对象集合
  	* getElementsByAttribute(String key)：根据属性名称获取元素对象集合
  	* getElementsByAttributeValue(String key, String value)：根据对应的属性名和属性值获取元素对象集合

3. Elements：元素Element对象的集合。可以当做 ArrayList来使用

4. Element：元素对象

通过Element元素对象，获取的是子标签中的元素。然后再使用.text( )方法，可以获取子标签的文本__[用作爬虫] https://www.cnblogs.com/blackdeng/p/6802126.html

  	1. 获取子元素对象
  				* getElementById(String id)：根据id属性值获取唯一的element对象
  				* getElementsByTag(String tagName)：根据标签名称获取元素对象集合
  				* getElementsByAttribute(String key)：根据属性名称获取元素对象集合
  				* getElementsByAttributeValue(String key, String value)：根据对应的属性名和属性值获取元素对象集合

  	2. 获取属性值
  				* String attr(String key)：根据属性名称获取属性值
  	3. 获取文本内容
  				* String text():获取文本内容
  				* String html():获取标签体的所有内容(包括字标签的字符串内容)

Element对象功能

public class JsoupDemo4 {
    public static void main(String[] args) throws IOException {
        //1.获取student.xml的path
        String path = JsoupDemo4.class.getClassLoader().getResource("student.xml").getPath();
        //2.获取Document对象
        Document document = Jsoup.parse(new File(path), "utf-8");
     
        //通过Document对象获取name标签，获取所有的name标签，可以获取到两个
        Elements elements = document.getElementsByTag("name");
        System.out.println(elements.size());
        System.out.println("----------------");
        //通过Element对象获取子标签对象
        Element element_student = document.getElementsByTag("student").get(0);
        Elements ele_name = element_student.getElementsByTag("name");
        System.out.println(ele_name.size());

        //获取student对象的属性值
        String number = element_student.attr("NUMBER");
        System.out.println(number);
        System.out.println("------------");
        //获取文本内容
        String text = ele_name.text();
        String html = ele_name.html();
        System.out.println(text);
        System.out.println(html);
    }

}

5. Node：节点对象：是Document和Element的父类

三、快捷查询：

同上，需要查找指定标签下的元素内容时，需要一步步的解析标签，比较麻烦！

（1）selector:选择器

使用的方法：Elements select(String cssQuery)

语法：参考Selector类中定义的语法

/**
	 *选择器查询
	 */
	public class JsoupDemo5 {
	    public static void main(String[] args) throws IOException {
	        //1.获取student.xml的path
	        String path = JsoupDemo5.class.getClassLoader().getResource("student.xml").getPath();
	        //2.获取Document对象
	        Document document = Jsoup.parse(new File(path), "utf-8");
	
	        //3.查询name标签
	        
	        Elements elements = document.select("name");
	        System.out.println(elements);
	        System.out.println("=----------------");
	        //4.查询id值为itcast的元素
	        Elements elements1 = document.select("#cainiao");
	        System.out.println(elements1);
	        System.out.println("----------------");
	        //5.获取student标签并且number属性值为heima_0001的age子标签
	        //5.1.获取student标签并且number属性值为heima_0001
	        Elements elements2 = document.select("student[number=\"cainiao_0001\"]");
	        System.out.println(elements2);
	        System.out.println("----------------");
	
	        //5.2获取student标签并且number属性值为heima_0001的age子标签
	        Elements elements3 = document.select("student[number=\"cainiao_0001\"] > age");
	        System.out.println(elements3);
	
	    }
	
	}

student.xml

<?xml version="1.0" encoding="UTF-8" ?>
		
		<students>
			<student number="cainiao_0001">
				<name id="cainiao">
					<xing>张</xing>
					<ming>三</ming>
				</name>
				<age>18</age>
				<sex>male</sex>
			</student>
			<student number="heima_0002">
				<name>jack</name>
				<age>18</age>
				<sex>female</sex>
			</student>
		
		</students>

（2）XPath：

概念：XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言
使用Jsoup的Xpath需要额外导入jar包。
查询w3cshool参考手册，使用xpath的语法完成查询
思路：利用Jsoup获取Document对象，然后结合Xpath的Jar包中的api和语法，来选取xml中的指定元素。

XPath查询

/**
 *XPath查询
 */
public class JsoupDemo6 {
    public static void main(String[] args) throws IOException, XpathSyntaxErrorException {
        //1.获取student.xml的path
        String path = JsoupDemo6.class.getClassLoader().getResource("student.xml").getPath();
        //2.获取Document对象
        Document document = Jsoup.parse(new File(path), "utf-8");

        //3.根据document对象，创建JXDocument对象
        JXDocument jxDocument = new JXDocument(document);

        //4.结合xpath语法查询
        //4.1查询所有student标签
        List<JXNode> jxNodes = jxDocument.selN("//student");
        for (JXNode jxNode : jxNodes) {
            System.out.println(jxNode);
        }

        System.out.println("--------------------");

        //4.2查询所有student标签下的name标签
        List<JXNode> jxNodes2 = jxDocument.selN("//student/name");
        for (JXNode jxNode : jxNodes2) {
            System.out.println(jxNode);
        }

        System.out.println("--------------------");

        //4.3查询student标签下带有id属性的name标签
        List<JXNode> jxNodes3 = jxDocument.selN("//student/name[@id]");
        for (JXNode jxNode : jxNodes3) {
            System.out.println(jxNode);
        }
        System.out.println("--------------------");
        //4.4查询student标签下带有id属性的name标签 并且id属性值为itcast

        List<JXNode> jxNodes4 = jxDocument.selN("//student/name[@id='itcast']");
        for (JXNode jxNode : jxNodes4) {
            System.out.println(jxNode);
        }
    }

}