Android中Jsoup的使用(网页内容解析)

最新推荐文章于 2024-05-15 09:31:30 发布

原创

最新推荐文章于 2024-05-15 09:31:30 发布 · 2.3k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#Android

文章目录

Jsoup在安卓中的应用场景举例
相关基础知识简述
- HTML简述
- HTTP请求与响应的内容格式
Jsoup的库的主要API介绍
Jsoup实例

Jsoup在安卓中的应用场景举例

如果你想做一个资讯类的APP，那么可以使用jsoup去腾讯新闻、网易新闻、今日头条等资讯网站爬取相关的资讯内容。
如果你想做一个小说阅读APP，那么可以使用jsoup去一些免费的小说网站实时爬取内容然后放到APP里。
如果你做一个课程表的APP且需要获取教务系统的课程表，那么可以使用jsoup进行模拟登录然后爬取教务系统的课程表内容。
。。。。。。

相关基础知识简述

HTML简述

html是一种超文本标记语言。我们平时使用浏览器浏览的web页面几乎都是html格式的文本。下面是一个hello world的html页面的代码:

<html>
	<head>
		<title>a sample demo</title>
	</head>
	<body>
		hello world
	</body>
</html>

从上面的代码我们可以很直观的看出，html和xml语言很像都是树形结构，即一个根节点包含几个子节点，子节点又可以包含自己的子节点…。通常我们把html格式的这种树结构称为:文档树(dom树)

HTTP请求与响应的内容格式

Http请求包含四个部分的内容:

请求行(request line)
请求头(header)
空行
参数

抓包的request结构如下：

GET / HTTP/1.1
Host: jwgl.fjnu.edu.cn
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
Referer: https://www.baidu.com/link?url=a98CxMug1u-J-RFk4E7kaP9hhk2EK8700MuPKT4cZYTTPG_urDB7Asq8TDNqQJFD&wd=&eqid=f7c332cc007927a4000000065cf20629
Acc