Jsoup库怎么用？

最新推荐文章于 2025-06-01 12:58:03 发布
最新推荐文章于 2025-06-01 12:58:03 发布
阅读量506 收藏 7
点赞数 4
CC 4.0 BY-SA版权
文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/one6688/article/details/147459076

Jsoup 是一个非常强大的 Java 库，用于解析 HTML 文档并提取数据。它提供了简洁的 API 和灵活的选择器语法，使得解析 HTML 变得非常方便。以下是一些常见的使用方法和示例代码，帮助你快速上手 Jsoup。

一、Jsoup 的基本用法

（一）解析 HTML 文档

Jsoup 可以解析字符串形式的 HTML，也可以直接从 URL 或文件中加载 HTML 文档。

1. 从字符串解析 HTML

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><head><title>Test</title></head><body><p>Hello, Jsoup!</p></body></html>";
        Document doc = Jsoup.parse(html);
        System.out.println(doc.title()); // 输出：Test
    }
}
2. 从 URL 加载 HTML

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

public class JsoupExample {
    public static void main(String[] args) {
        try {
            Document doc = Jsoup.connect("https://example.com").get();
            System.out.println(doc.title()); // 输出页面标题
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

（二）选择器语法

Jsoup 提供了类似 CSS 的选择器语法，可以非常方便地选择特定的 HTML 元素。

1. 按标签选择

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><p>Hello, Jsoup!</p><a href='https://example.com'>Link</a></body></html>";
        Document doc = Jsoup.parse(html);
        Elements paragraphs = doc.select("p");
        for (Element paragraph : paragraphs) {
            System.out.println(paragraph.text()); // 输出：Hello, Jsoup!
        }
    }
}
2. 按类选择

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><div class='content'>Content</div></body></html>";
        Document doc = Jsoup.parse(html);
        Elements contents = doc.select("div.content");
        for (Element content : contents) {
            System.out.println(content.text()); // 输出：Content
        }
    }
}
3. 按 ID 选择

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><div id='main'>Main Content</div></body></html>";
        Document doc = Jsoup.parse(html);
        Element mainContent = doc.select("#main").first();
        System.out.println(mainContent.text()); // 输出：Main Content
    }
}
4. 组合选择器

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><div class='content'><p>Hello, Jsoup!</p></div></body></html>";
        Document doc = Jsoup.parse(html);
        Elements paragraphs = doc.select("div.content > p");
        for (Element paragraph : paragraphs) {
            System.out.println(paragraph.text()); // 输出：Hello, Jsoup!
        }
    }
}

（三）提取元素内容

Jsoup 提供了多种方法来提取元素的内容，包括文本、属性和 HTML。

1. 提取文本

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><p>Hello, Jsoup!</p></body></html>";
        Document doc = Jsoup.parse(html);
        Elements paragraphs = doc.select("p");
        for (Element paragraph : paragraphs) {
            System.out.println(paragraph.text()); // 输出：Hello, Jsoup!
        }
    }
}
2. 提取属性

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><a href='https://example.com'>Link</a></body></html>";
        Document doc = Jsoup.parse(html);
        Elements links = doc.select("a");
        for (Element link : links) {
            System.out.println(link.attr("href")); // 输出：https://example.com
        }
    }
}
3. 提取 HTML

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><div><p>Hello, Jsoup!</p></div></body></html>";
        Document doc = Jsoup.parse(html);
        Elements divs = doc.select("div");
        for (Element div : divs) {
            System.out.println(div.html()); // 输出：<p>Hello, Jsoup!</p>
        }
    }
}

（四）遍历元素

可以使用 forEach 或 for 循环来遍历选择的元素集合。

1. 使用 forEach

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><p>Hello, Jsoup!</p><p>Another paragraph.</p></body></html>";
        Document doc = Jsoup.parse(html);
        Elements paragraphs = doc.select("p");
        paragraphs.forEach(paragraph -> {
            System.out.println(paragraph.text());
        });
    }
}
2. 使用 for 循环

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><p>Hello, Jsoup!</p><p>Another paragraph.</p></body></html>";
        Document doc = Jsoup.parse(html);
        Elements paragraphs = doc.select("p");
        for (Element paragraph : paragraphs) {
            System.out.println(paragraph.text());
        }
    }
}

（五）处理相对 URL

在解析 HTML 时，经常会遇到相对 URL。Jsoup 提供了方法将相对 URL 转换为绝对 URL。

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupExample {
    public static void main(String[] args) {
        String html = "<html><body><a href='/path/to/resource'>Link</a></body></html>";
        Document doc = Jsoup.parse(html, "https://example.com");
        Elements links = doc.select("a");
        for (Element link : links) {
            System.out.println(link.absUrl("href")); // 输出：https://example.com/path/to/resource
        }
    }
}

二、完整示例：解析 1688 商品详情

以下是一个完整的示例，展示如何使用 Jsoup 解析 1688 商品详情页的内容。

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class AlibabaCrawler {
    public static void main(String[] args) {
        String url = "https://detail.1688.com/offer/123456789.html";
        try {
            Document doc = Jsoup.connect(url).get();
            System.out.println("商品标题: " + doc.title());
            Elements productInfo = doc.select("div.product-info");
            for (Element info : productInfo) {
                System.out.println("商品名称: " + info.select("h1").text());
                System.out.println("商品价格: " + info.select("span.price").text());
                System.out.println("商品描述: " + info.select("div.description").text());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

三、注意事项和建议

（一）遵守网站规则

在爬取数据时，务必遵守 1688 的 robots.txt 文件规定和使用条款，不要频繁发送请求，以免对网站造成负担或被封禁。

（二）处理异常情况

在编写爬虫程序时，要考虑到可能出现的异常情况，如请求失败、页面结构变化等。可以通过捕获异常和设置重试机制来提高程序的稳定性。

（三）数据存储

获取到的商品信息可以存储到文件或数据库中，以便后续分析和使用。

（四）合理设置请求频率

避免高频率请求，合理设置请求间隔时间，例如每次请求间隔几秒到几十秒，以降低被封禁的风险。

四、总结

通过上述步骤和示例代码，你可以轻松地使用 Jsoup 解析 HTML 文档并提取所需的数据。Jsoup 提供了简洁的 API 和灵活的选择器语法，使得解析 HTML 变得非常方便。希望这个教程对你有所帮助！

API小爬虫
关注
Jsoup库文件；Jsoup解析Java包
08-13
使用Jsoup库文件，开发者可以快速地构建功能丰富的Java应用，实现高效的数据抓取和处理。在实际开发中，结合Java的IO流和多线程技术，可以进一步提升数据处理的速度和效率。 在压缩包"Jsoup库文件"中，可能包含以下...
笑话故事jsoup库使用.zip
04-20
在这个教程中，我们将深入探讨JSoup库在Android环境下的使用，通过具体的实例来帮助开发者掌握这一强大的工具。 首先，JSoup库的主要功能包括HTML解析、DOM操作以及数据提取。它的设计灵感来源于jQuery，因此对前端...
网络爬虫——Jsoup解析HTML
吴声子夜歌的博客
07-19 3141
给定 HTML 字符串，可以使用 org.jsoup.Jsoup 类中的 parse(String html)方法，将 String 类型的 HTML 文件转化成 Document 类型。这四种方法传递的参数分别是 Document 类型 的 HTML 文档、Elements 类型的元素集合、String 类型的 HTML 字符串和 String 类型 的 URL。而 JsoupXpath 则是在 Jsoup 的基础上扩展的支持 Xpath 语法的 HTML 文件解析器。示例，依旧解析课程URL。
jsoup的使用
u012315428的专栏
04-12 3961
hello 在用了一段时间的正则表达式之后，一直想找个机会学习一下jsoup，据说是解析网页的神器，但苦于官方的英文文档。迟迟没有动手 自从看了youtube上的jsoup的视频之后，短短几行就实现了之前几十行的任务，（爬取网页上的所有超链接），这坚定了我学习jsoup的 决心，结合中文文档和英文文档，花了大概两天的时间，大概了解了一下jsoup的使用，对于正则表
Jsoup库详解：Java世界的HTML解析利器
最新发布
weixin_74550669的博客
06-01 477
Jsoup凭借其简洁API和出色性能，成为Java开发者处理HTML的首选工具。无论是数据抓取、内容分析还是HTML处理，它都能提供优雅的解决方案。
Jsoup 使用
m0_54407550的博客
05-25 470
tagname: 通过标签查找元素，例如通过"a"来查找标签。#id: 通过ID查找元素，比如通过#logo查找。.class: 通过class名称查找元素，比如通过.titile查找。ns|tag: 通过标签在命名空间查找元素，比如使用fb|name来查找。: 利用属性查找元素，比如通过[href]查找。: 利用属性名前缀来查找元素，比如：可以用[^data-]来查找带有HTML5 dataset属性的元素。。
Jsoup使用
monica1_1的博客
01-12 527
Jsoup是什么： 用 java对HTML页面解析获取页面内容 举个例子：获取 维基百科 页面的url地址和对应的标题 public static void main(String[] args) throws IOException { Document doc = Jsoup.connect("http://en.wikipedia.org/").get(); ...
jsoup库怎么导入？
10-23
在Java项目中引入jsoup库，你需要在Maven或Gradle构建工具中添加依赖，如果你的项目使用的是Maven，可以在pom.xml文件中加入以下内容： ```xml <groupId>org.jsoup <artifactId>jsoup 最新版本号 ``` 记得...
android 笑话故事jsoup库使用源码.rar
11-02
本项目“android 笑话故事jsoup库使用源码”显然是一个示例应用，展示了如何在Android平台上利用jsoup库获取并展示网页上的笑话故事。 jsoup库的核心功能包括： 1. 解析HTML：jsoup能够将HTML字符串解析为一个DOM树...
Jsoup 简单使用
zuichu_2001的博客
09-17 291
<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.3</version> </dependency> Jsoup 可以简单爬取页面dom 获取数据 //找到要爬取页面 Document docu..
Jsoup简单使用
nanxiang11的博客
10-07 180
java爬虫来了，不要天天说Python，Python，Python！！！java同样也可以！ 我这个是maven工程！ 首先安装导入依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.14.2</version> </dependency> 编.
Jsoup用法
罕学
08-22 1243
ps: 虽然使用jsoup可以代替HttpClient 直接发起请求解析数据，但往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而jsoup 对这些的支持并不是很好，所以我们一直把jsoup仅仅作为Html解析工具。 ============================================================================...
Jsoup使用教程以及使用案例
热门推荐
苍煜
03-30 2万+
jsoup 是一款基于 Java 的HTML解析器，它提供了一套非常省力的API，不但能直接解析某个URL地址、HTML文本内容，而且还能通过类似于DOM、CSS或者jQuery的方法来操作数据，所以 jsoup 也可以被当做爬虫工具使用，从网站获取dom结构，从而解析下载数据。tagname: 通过标签查找元素，例如通过"a"来查找< a >标签。#id: 通过ID查找元素，比如通过#logo查找< p id=“logo”>
Jsoup解析html
2401_84097520的博客
04-07 321
点击这里即可获取，包括答案解析。习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。[外链图片转存中…(img-VfTVABQu-1712460368553)][外链图片转存中…(img-LsMq6y4Z-1712460368554)]
jsoup 框架的使用指南
墨鸦的博客
03-21 1万+
jsoup 框架的使用指南
【Android入门到项目实战-- 10.1】—— jsoup的详细使用教程
张修宇的博客
05-08 3724
Android，jsoup的详细教程，jsoup可以实现爬虫效果，获取网页文字、图片、视频等。如何使用jsoup提取网页文字和图片？爬取文字和图片。
Jsoup库具体怎么用？
2401_87849163的博客
02-05 1070
通过上述方法，你可以高效地使用 Jsoup 获取商品销量详情，并确保数据使用的合法性和合规性。Jsoup 提供了强大的功能，可以帮助你轻松解析和操作 HTML 文档，无论是发送 HTTP 请求、提取数据还是修改 HTML 元素，都能满足你的需求。希望本文能为你在 Java 爬虫开发中提供一些帮助。如果你在使用 Jsoup 或其他爬虫开发过程中遇到任何问题，欢迎随时交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值