跟jQuery那样简单方便操作Html文档的Java工具类,今天我必须要告知你!

使用Jsoup解析和操作HTML jsoup 简介 jsoup 是一款 Java 的HTML 解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 jsoup的主要功能如下:    1. 从一个URL,文件或字符串中解析HTML;    2. 使用DOM或CSS选择器来查找、取出数据;    3. 可操作HTM 阅读详情

神器介绍

今天我要介绍一款操作Html文档非常好用的Java插件,强烈安利!因为实在太好用了!

“

Jsoup 是一款纯Java实现,可以非常方便读取和操作Html文档的一款插件。她的API跟jQuery非常相似。我都甚至怀疑创造者是否是jQuery的忠实粉丝。

”

读完本文,你能做哪些“坏事”?

  • 问答系统的问题与答案自动收集

  • 购物网站比价系统

  • 电话号码收集系统

  • 新闻数据分析

  • 爬虫房产网站做房产数据分析

  • 特定信息收集系统

  • 获取网页上的股票数据,进行股票分析

  • .....更多功能等你去发挥了!

我选择她的原因

其解析器能够尽最大可能从你提供的HTML文档来创建一个干净完整的解析结果,不管你提供的HTML的格式是否完整。这样就可以完美解决一些不规范的html文档读取的时候,容易报错,太影响开发进度了,并且,影响了程序的健壮性。动不动就报Html格式不规范的错误,想想都怕了。

例如:

  • 没有关闭的标签(她会帮你自动补充完整,比如:<p>Lorem <p>Ipsum 会帮你改为 <p>Lorem </p> <p>Ipsum </p>)

  • 隐式标签 (如果你是一个喜欢偷懒的人,少写了一些Tag,她也会自动帮你填补成正规规范的样子滴,比如: <td>Table data</td>包装成<table><tr><td></td> </tr></table>)

  • 创建可靠的文档结构 (比你自己手打的html结构还要规范,html标签包含head 和 body,在head只出现恰当的元素)

代码实操

加载html文档

大家可以随便拿个网页来操作一下,我就随手了我自己微信公众号的一篇原创文章作为我的例子去讲解了。为了简化讲解流程,本文就不讲爬虫技术这部分内容了,跳过使用爬虫技术获取网页。

本文简单一点,直接人手保存一个网页Html代替爬虫自动抓取网页动作了。

把html文件加载到Jsoup中

    FileReader fileReader = new FileReader("D:\\temp\\demo\\wxPage.html");
  String result = fileReader.readString();
  Document doc = Jsoup.parse(result);//其实,就一行代码

获取header里面的 meta 标签

Elements metaList = doc.getElementsByTag("meta");
  
  int metaListSize = metaList.size();
  System.out.println("metaList size:"+metaListSize);
  for(int i =0 ;i<metaListSize;i++) {
   Element meta = metaList.get(i);
   System.out.println("meta:"+meta.outerHtml());
   System.out.println("meta:  property:"+meta.attr("property")+" name:"+meta.attr("name")+" content:"+meta.attr("content"));
   System.out.println("---------------------------------");
  }

效果图:

metaList size:22
meta:<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
meta:  property: name: content:text/html; charset=UTF-8
---------------------------------
meta:<meta http-equiv="X-UA-Compatible" content="IE=edge">
meta:  property: name: content:IE=edge
---------------------------------
meta:<meta name="color-scheme" content="light dark">
meta:  property: name:color-scheme content:light dark
---------------------------------
meta:<meta name="viewport" content="width=device-width,initial-scale=1.0,maximum-scale=1.0,user-scalable=0,viewport-fit=cover">
meta:  property: name:viewport content:width=device-width,initial-scale=1.0,maximum-scale=1.0,user-scalable=0,viewport-fit=cover
---------------------------------
meta:<meta name="apple-mobile-web-app-capable" content="yes">
meta:  property: name:apple-mobile-web-app-capable content:yes
---------------------------------
meta:<meta name="apple-mobile-web-app-status-bar-style" content="black">
meta:  property: name:apple-mobile-web-app-status-bar-style content:black
---------------------------------
meta:<meta name="format-detection" content="telephone=no">
meta:  property: name:format-detection content:telephone=no
---------------------------------
meta:<meta name="description" content="千万不要一开口说技术单词,都让面试官觉得你很low!给面试官的留下技术差的印象,这样你的面试也没戏了!\x0a你真觉得自己的技术单词读法很正确???\x0a用事实说话吧!本公众号回复:\x26quot;A123\x26quot;。即可马上测验你说的技术单词读法,面试官究竟能不能听懂?">
meta:  property: name:description content:千万不要一开口说技术单词,都让面试官觉得你很low!给面试官的留下技术差的印象,这样你的面试也没戏了!\x0a你真觉得自己的技术单词读法很正确???\x0a用事实说话吧!本公众号回复:\x26quot;A123\x26quot;。即可马上测验你说的技术单词读法,面试官究竟能不能听懂?
---------------------------------

获取标题

    //获取标题
  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());

是不是很眼熟?title.text(); 哈哈哈,这不就是jQuery的获取标签中的内容方法吗?

获取文章中所有的图片的下载URL

  Elements  body = doc.getElementsByTag("body");
  Elements  imgs = body.select("img[src]");
  int imgSize = imgs.size();
  for(int i =0 ;i<imgSize;i++) {
   Element img = imgs.get(i);
   System.out.println("  img data-type:"+img.attr("data-type")+" src:"+img.attr("src"));
  }

执行log:

img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KP1sbiaxlMv9oxoVXvFBnweNWYerXRkwib0lTnrtgCqowSiaUuzYk7xJUg/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KmiaudibgjFZJscPG7BUiaJXOurHhUic03FmrmGxUQETniaDRoZus3rnsRlw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KDYVUVDhWibs0O2dDgNv9lVfyOQmXlia9BwbJFDrcgtmhUdGSaVoibCZlQ/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Kt1l6ZVFpYuu8tBAYev8Fo79ia00wmRDgY0LZiaic25Mggl5nsiczsqxVSA/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KDXuic2s3nibAWNdFDHplDJnE3gW6xax2wrY5I5TDj5SMuU0InQmtB14g/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KPGYTK3f3iaicgNRKmnog0zl6tSfgessSKwvKQhC24T9b63jHRT5nCLhw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Ktd1QuwUIOicy1mXmwOzIxb7xoLsibHhZ3nPkTKiawfgq549qVfGouX4hg/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60Kq2gPUhia72HK6qHpgNPTwJhWNAX02XbtibibTeUrw8ASEBEbceicics1Drw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4dthvEbvKJqZMTUU4ls60KjniaZ4kRQbI0G8vlQA49pJQv3VUMXr5aCZOQ8F4JZia4ibUia4wXPV9yaw/640?wx_fmt=png
  img data-type:png      src:https://mmbiz.qpic.cn/mmbiz_png/NFMAL0xaDd4mdZLSR8QkoBGOfQrDt7raI7GbzfxOwZOr3b6e5icyjppyDUncmvoTtibOIptQ9w6sASVkQW2ib3UHQ/640?wx_fmt=png

是不是似曾相识的样子?哈哈哈,没错,就是她,获取标签的属性,跟jQuery一样,都是 attr() 方法。

set 值

跟jQuery一样,也可以用 attr() 方法设置新值。

  Element testImg = imgs.get(0);//就拿第一个图片作为例子吧
  System.out.println(" 原本是 :"+testImg.outerHtml());
  testImg.attr("data-type","testType2");
  System.out.println(" 设置后 :"+testImg.outerHtml());

再举个栗子,修改标题

  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());
  title.text("觉得有用就分享给朋友吧!原创不易啊,后面会有更多优质的原创内容,加油!");
  System.out.println(" after title:"+title.text());

结果log:

  title:免费测试你口头说的技术单词,面试官是否能听懂?
 after title:觉得有用就分享给朋友吧!原创不易啊,后面会有更多优质的原创内容,加油!

把这些改动直接保存到本地作为新的html文档

  //保存到本地
  FileWriter writer = new FileWriter("D:\\temp\\demo\\wxPageResult.html");
  writer.write(doc.outerHtml());

测试截图:

其实,还有很多好用的API,这就要靠你们自己去研究一下了。

API中文文档:

https://www.open-open.com/jsoup/parsing-a-document.htm

本文的完整代码

本文用到hutool工具包,不是必要的,只是为了方便读取和保存本地文件而已。可以不要的。

 <dependency>
     <groupId>cn.hutool</groupId>
     <artifactId>hutool-core</artifactId>
     <version>5.4.1</version>
 </dependency>

引入Jsoup

 <dependency>
     <groupId>org.jsoup</groupId>
     <artifactId>jsoup</artifactId>
     <version>1.13.1</version>
 </dependency>

本文代码

@Test
 public void test() throws IOException {
  FileReader fileReader = new FileReader("D:\\temp\\demo\\wxPage.html");
  String result = fileReader.readString();
  Document doc = Jsoup.parse(result);
  Elements metaList = doc.getElementsByTag("meta");
  
  int metaListSize = metaList.size();
  System.out.println("metaList size:"+metaListSize);
  for(int i =0 ;i<metaListSize;i++) {
   Element meta = metaList.get(i);
   System.out.println("meta:"+meta.outerHtml());
   System.out.println("meta:  property:"+meta.attr("property")+" name:"+meta.attr("name")+" content:"+meta.attr("content"));
   System.out.println("---------------------------------");
  }
  //获取标题
  Element title = doc.getElementById("activity-name");
  System.out.println("  title:"+title.text());
  title.text("觉得有用就分享给朋友吧!原创不易啊,后面会有更多优质的原创内容,加油!");
  System.out.println(" after title:"+title.text());
  System.out.println("---------------------------------");
  Elements body = doc.getElementsByTag("body");
  Elements  imgs = body.select("img[src]");
  int imgSize = imgs.size();
  for(int i =0 ;i<imgSize;i++) {
   Element img = imgs.get(i);
   System.out.println("  img data-type:"+img.attr("data-type")+"      src:"+img.attr("src"));
  }
  System.out.println("---------------------------------");
  Element testImg = imgs.get(0);
  System.out.println(" 原本是 :"+testImg.outerHtml());
  testImg.attr("data-type","testType2");
  System.out.println(" 设置后 :"+testImg.outerHtml());
  //保存到本地
  FileWriter writer = new FileWriter("D:\\temp\\demo\\wxPageResult.html");
  writer.write(doc.outerHtml());
  
 }
【项目实战】Hutool 工具包HtmlUtil 类其中的unescape()方法介绍 Hutool 是一个开源的 Java 工具包,在 Hutool 工具包中,HtmlUtil 类提供了许多与 HTML 相关的实用方法,包括 HTML 实体编码和解码、HTML 标签处理等。HtmlUtil.unescape() 是 Hutool 工具包中的一个方法。HtmlUtil.unescape() 方法是这个工具包中用于解码 HTML 实体的一个方便的工具。 阅读详情

相关推荐

HTML解析器:简化网页内容处理的编程工具

在Python中,有一些常用的HTML解析器库可供选择,例如Beautiful Soup和lxml。函数读取HTML文件的内容,并将其传递给Beautiful Soup的构造函数,创建一个Beautiful Soup对象。通过使用HTML解析器,我们可以更加方便地处理和提取HTML文档中的内容。安装完成后,我们可以开始编写代码来解析HTML文档。在本文中,我们将介绍HTML解析器的基本概念和用法,并提供相应的源代码示例来说明其工作原理。在上面的示例中,我们提取了HTML文档中的标题、正文内容和列表项。

CyberFlare的博客 723

Java JsoupXpath 解析HTML

JsoupXpath 可以使用Xpath语法解析HTML,因此我们选择使用它来解析HTML 1、添加maven坐标 <!--解析html--> <dependency> <groupId>cn.wanghaomiao</groupId> <artifactId>JsoupXpath</arti...

风雪夜归人的博客 2385

KEITHLEY 2182A + 6220/6221 系列测试系统软件

6221型与2182A型相结合,是业界最完整的差分电导测量解决方案

业余程序员小徐的博客 2991

获取HTML节点属性

getElementById( ),getElementsByTagName( )获取元素节点

Kedaya的博客 988

把“思考”塞进 1 KB:我用纯 C 语言给单片机手搓了一个微型 Transformer 推理引擎

摘要:本文探讨了在64KB SRAM的MCU(如STM32H743)上部署精简Transformer模型的技术方案。通过将6层Transformer压缩至1层(隐藏维度128)、4-bit KV-Cache量化等优化手段,实现了240KB Flash占用和59KB RAM峰值,推理延迟184ms(400MHz Cortex-M7),准确率96.1%。关键创新包括:手工优化矩阵乘(CMSIS-NN)、查表法Softmax/LayerNorm、权重按Tile重排提升Cache命中率(60%→94%)。

qq_74383080的博客 2924

Vue3项目实战:CKEditor5富文本编辑器从安装到隐藏不需要的功能

本文详细介绍了在Vue3项目中集成并深度定制CKEditor5富文本编辑器的完整流程。通过分析其模块化架构,指导开发者从标准构建出发,移除图片、表格等冗余插件,创建专属轻量构建,从而显著减小打包体积并提升用户体验。文章结合实战代码,涵盖了环境搭建、自定义构建配置、高级优化技巧等关键步骤。

weixin_29016833的博客 288

HTML基础标签属性详细解析

====================================================== 注:本文源代码点此下载 ====================================================== 网页第一章 这个是在标签括其来的,里面的主要属性有: http-equiv="content-type"content="text/html"

javazhuanzai的专栏 428

Python+gensim【中文LDA】简洁模型

文章目录完整代码过程详解words_lsdictionarydictionary.doc2bow函数corpuslda 完整代码 from gensim import corpora, models import jieba.posseg as jp # 待分析文本集 text1 = '美国教练坦言,没输给中国女排,是输给了郎平' text2 = '中国女排世界排名第一?真实水平如何,听听巴西和美...

ArYe 2万+

【Java神器】跟jQuery那样简单方便操作Html文档的Java工具类,今天我必须要告知你!...

神器介绍今天我要介绍一款操作Html文档非常好用的Java插件,强烈安利!因为实在太好用了!“Jsoup 是一款纯Java实现,可以非常方便读取和操作Html文档的一款插件。她的API跟...

qq_18244417的博客 242

CPLD新手必看:安路EF2系列配置与烧录的避坑指南(含完整流程)

本文为CPLD新手提供了安路EF2系列芯片从硬件设计到软件烧录的完整避坑指南。重点解析了电源系统、时钟复位、JTAG接口等关键电路设计要点,并详细介绍了使用TD软件进行工程创建、代码编写、引脚分配及程序烧录的全流程,帮助开发者快速上手并规避常见问题。

weixin_29217235的博客 357

c++ webrtc基础(1) :webrtc源码下载与编译、项目模块介绍、学习资料推荐

本篇博客介绍webrtc源码的下载与编译,以及推荐webrtc学习资料。 源码下载 电脑环境:win10/win11 64bit,合理的上网环境,没有合理的网络环境无法拉取、下载webrtc代码和工具,宽带速度要快,尽量50M. 主要步骤如下: (1) 安装git (2) 打开cmd控制台,下载google开发工具depot_tools: git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git (3) 新建一个目

琅嬛福地 3299

Java中使用Jsoup对Html文档进行解析和操作

简介: jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。本文主要介绍如何使用 jsoup 来进行常用的 HTML 解析。 jsoup 简介 Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个

人生起落,生活苦甜,坚持追求! 1700

北斗导航 | 卡尔曼滤波与因子图优化对比(附图优化matlab代码)

- 历史数据利用:因子图通过滑动窗口保留历史状态,优化时联合多帧数据;卡尔曼滤波仅依赖当前和上一帧状态 。 - 迭代优化:因子图通过多次迭代逼近最优解,卡尔曼滤波仅单次更新 。 - 误差抑制:因子图的多次线性化可有效抑制非线性误差(如GNSS伪距观测的非线性) 。

尘世冰封的专栏 1309

今天用JAVA来写个爬虫!其实也不难!

public static void main(String[] args) { try { //下面这行代码是连接我们的目标站点,并且g...

Kuls 4181

从零开始讲PCIe(8)——PCIe拓扑与组件

从软件角度来看,根复合体内部的总线结构会被认为是一个标准的PCI总线,尽管实际上可能并不是物理的PCI总线,但它被设计为对软件呈现为PCI拓扑的一部分,以保持与旧版PCI软件的兼容性。这是由于其使用了非常高的传输速度。无论是根复合体内部的总线,还是交换机的多个端口,系统会通过与PCI相似的方式将其呈现给软件,使得传统的PCI枚举和配置流程能够继续使用。总体而言,根复合体不仅在物理上位于PCIe拓扑的顶部,而且在逻辑上也是整个PCIe系统的控制中心,它与系统中的所有PCIe设备建立连接,协调它们之间的通信。

apple_53311083的博客 2991

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

html jquery java_Java上的jQuery?解析HTML利器—Jsoup

也许大家有过在java运行平台上解析html的经历,通常的方式是将HTML以XML的形式进行结点解析,调用java本身的xml解析类库。这样的方式很容易理解并且很方便,但习惯用jQuery的各位是否在感叹能否在java中像jQuery一样获取标签内容,实现DOM操作呢?终于,发现了一个html解析利器,jsoup!初次用jsoup的时候是在业余时间做一款漫画下载器的时候发现的,做漫画下载器时,因无...

weixin_30698721的博客 211

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

JAVA-HTML——jQuery之DOM操作

attr属性操作 attr(name|properties|key,value|key,fn):设置或返回被选元素的属性值。 1、获取值 <script> console.log($("#title").attr("id")); </script> <div id="title">zzu</div> 运行结果: 2、改变值 eg: <a id="link"> 百度一下,你就知道</a> <script> $("#l

Mr.helios的博客 318

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

java中jquery怎么写_Jquery就是这么简单

什么是Jquery?Jquey就是一款跨主流浏览器的JavaScript库,简化JavaScript对HTML操作就是封装了JavaScript,能够简化我们写代码的一个JavaScript库为什么要使用Jquery?我觉得非常重要的理由就是:它能够兼容市面上主流的浏览器,我们学习AJAX就知道了,IE和FireFox获取异步对象的方式是不一样的,而Jquery能够屏蔽掉这些不兼容的东西...(1...

weixin_36071315的博客 899

Java版的jQuery

神器介绍今天我要介绍一款操作Html文档非常好用的Java插件,强烈安利!因为实在太好用了!“Jsoup 是一款纯Java实现,可以非常方便读取和操作Html文档的一款插件。她的API跟...

qq_18244417的博客 246

使用 jsoup 对 HTML 文档进行解析和操作

jsoup 简介 Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章,分别是:从 HTML 中攫取你所需的信息和 扩展 HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 htmlparser 了,原因是 htmlparser 很少更新,但最重要的是有了 jsou...

huyuminNo1的专栏 149

探索 jOOX: 更简单地操作 HTML DOM

是一个轻量级的 JavaScript 库,它为处理 HTML DOM 提供了一种更易于使用的 API。在本文中,我们将探索 jOOX 的主要功能、应用场景及其特点,并鼓励更多开发者尝试使用它来提高网页开发的效率。 ## 什么是 jOOX? jOOX 是一个旨在简化和优化操作 DOM(文档对象模型)的库。作为一个独立于 jQuery 的库,jOOX 提供了类似的功能,但体积更小、性能更高。它的设

gitblog_00060的博客 470

java处理HTML的一个新的选择,类似Jquery 的选择器

jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 jsoup 的主要功能如下: 1. 从一个 URL,文件或字符串中解析 HTML; 2. 使用 DOM 或 CSS 选择器来查找、取出数据; 3. 可操作 HTML 元素、属性、...

zhongjiqiangshao的博客 269
上一篇: 面试官:来说说单点登录的三种实现方式
下一篇: 架构师多如过江之鲫,但你真的了解架构师这个工种吗?
Java思维导图
博客等级 码龄10年 306粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值