Android中Jsoup的使用(网页内容解析)(1)

原创于 2024-05-11 07:22:30 发布 · 705 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#android

程序员专栏收录该内容

59 篇文章

订阅专栏

实例一：使用jsoup解析HTML格式的字符串
实例二：使用jsoup爬取[福建师范大学官网首页]( )的所有文章链接

Jsoup在安卓中的应用场景举例

==========================================================================

如果你想做一个资讯类的APP，那么可以使用jsoup去腾讯新闻、网易新闻、今日头条等资讯网站爬取相关的资讯内容。
如果你想做一个小说阅读APP，那么可以使用jsoup去一些免费的小说网站实时爬取内容然后放到APP里。
如果你做一个课程表的APP且需要获取教务系统的课程表，那么可以使用jsoup进行模拟登录然后爬取教务系统的课程表内容。
。。。。。。

相关基础知识简述

==================================================================

HTML简述

html是一种超文本标记语言。我们平时使用浏览器浏览的web页面几乎都是html格式的文本。下面是一个hello world的html页面的代码:

a sample demo

hello world

从上面的代码我们可以很直观的看出，html和xml语言很像都是树形结构，即一个根节点包含几个子节点，子节点又可以包含自己的子节点…。通常我们把html格式的这种树结构称为:文档树(dom树)

HTTP请求与响应的内容格式

Http请求包含四个部分的内容:

请求行(request line)
请求头(header)
空行
参数

抓包的request结构如下：

GET / HTTP/1.1

Host: jwgl.fjnu.edu.cn

Upgrade-Insecure-Requests: 1

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3

Referer: https://www.baidu.com/link?url=a98CxMug1u-J-RFk4E7kaP9hhk2EK8700MuPKT4cZYTTPG_urDB7Asq8TDNqQJFD&wd=&eqid=f7c332cc007927a4000000065cf20629

Accept-Encoding: gzip, deflate

Accept-Language: zh-CN,zh;q=0.9

Cookie: UM_distinctid=1696fc8ec3e1b0-0585ff9addbe6b-1333062-100200-1696fc8ec3f2f4; ASP.NET_SessionId=1uslg345bvgyqnny4yyjbz45

Connection: keep-alive

请求行：请求行只会有一行，且固定为第一行。在这里是GET / HTTP/1.1

请求头：Host Upgrade-Insecure-Requests … Cookie Connection这些都是请求头，每一行都是一个请求头格式为键值对类型。

空行：请求头与参数之间会有一个空行

参数: 因为GET请求的参数是放在URL上的，所以这里的参数没有独占一行

HTTP响应也包含四个部分（这个比较重要）：

状态行
消息报头(有时也俗称响应头)
空行
响应正文

在这里插入图片描述

Jsoup的库的主要API介绍

=========================================================================

Jsoup 类是一个工具类，提供了一些静态函数，主要函数如下：

Jsoup.parse(String html) 该函数的作用是将传入的html格式的字符串解析成文档树，返回值是Document对象。

Jsoup.parse(File in,String charsetName) 将文件的内容解析成Document对象。

Jsoup.connect(String url) 根据传入的url返回一个Connection对象，Connection类的功能下面会介绍。

Element类对应文档树中的节点元素，这个类的常用函数如下:

getElementsByClass(String className) 返回所有带有className类属性的孩子节点。

getElementById(String id) 返回对应id的子节点

getElementsByTag(String tagName) 返回标签为tagName的所有孩子节点

jsoup库有着很丰富的功能与API，需要详细了解可以查看官网API文档

Jsoup实例

=================================================================

在Android Studio中使用Jsoup库

在app模块下的build.gradle文件中的dependencies属性里添加一行内容

implementation group: ‘org.jsoup’, name: ‘jsoup’, version: ‘1.8.3’

在这里插入图片描述

实例一：使用jsoup解析HTML格式的字符串

String html = “” +

“” +

“a sample demo” +

“” +

“hello world” +

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门**

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！