JAVA利用jsoup爬取html静态网页中的指定数据

Java+Jsoup实现最基本的网页爬虫功能 Java+Jsoup实现最基本的网页爬虫功能 Jsoup简介 阅读详情

利用jsoup爬取html静态网页中的指定数据

描述

爬取指定静态页面的某个模块下的数据
这里爬取的网页链接是:
http://www.hljkjt.gov.cn/html/zwgk/tztg/list.html
下的通知通告内容,及每个通知通告对应的链接。
在这里插入图片描述
爬取的数据初步写入本地文件,效果如下:
在这里插入图片描述
创建maven项目,pom.xml文件:

	<dependencies>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.0</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.38</version>
        </dependency>
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.9.2</version>
        </dependency>
    </dependencies>

代码如下:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.FileWriter;
import java.io.IOException;

public class Test {
    public static void main(String[] args) throws IOException {
        String url = "http://www.hljkjt.gov.cn/html/zwgk/tztg/list.html";
        String filePath = "C:\\Users\\Administrator\\Desktop\\crawler.txt";
        String ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36";
        Test t = new Test();
        t.getRes(url,filePath,ua);
    }

    public void getRes(String url,String filePath,String ua) throws IOException{
        //解析html
        Document doc = Jsoup.connect(url).timeout(5000).userAgent(ua).get();
        Elements listDiv = doc.getElementsByAttributeValue("class", "List_title");
        String h4 = "";
        String title = "";
        String href = "";
        String res = "";
        for (int i =0;i<listDiv.size();i++) {
            Elements listDivs = doc.getElementsByAttributeValue("class", "listn_box");
            h4 = listDivs.get(i).getElementsByTag("h4")+"\n";

            Elements a = listDiv.get(i).getElementsByTag("a");
            for(int j =0;j<a.size();j++){
                title = a.get(j).attr("title");
                href = a.get(j).attr("href");
                if(j == 0) {
                    res = h4 + "title:" + title + "\thref:http://www.hljkjt.gov.cn" + href + "\n";
                }else {
                    res = "title:" + title + "\thref:http://www.hljkjt.gov.cn" + href + "\n";
                }
                System.out.print(res);
                Test.saveAsFileWriter(res,filePath);
            }
        }

    }
    private static void saveAsFileWriter(String content,String filePath) {
        FileWriter fwriter = null;
        try {
            // true表示不覆盖原来的内容,而是加到文件的后面。若要覆盖原来的内容,直接省略这个参数就好
            fwriter = new FileWriter(filePath, true);
            fwriter.write(content);
        } catch (IOException ex) {
            ex.printStackTrace();
        } finally {
            try {
                fwriter.flush();
                fwriter.close();
            } catch (IOException ex) {
                ex.printStackTrace();
            }
        }
    }
}

后面再将爬取的数据写入到mysql

利用 Jsoup 进行高效 Web 抓取与 HTML 处理 标签:h1 + pJsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 JQuery 的操作方法来取出和操作数据。 阅读详情

相关推荐

jsoup爬虫

文章目录1、jsoup爬虫简单介绍2、相关代码2.1导入pom依赖2.2、图片爬取2.3、图片本地化3、百度云链接爬虫 1、jsoup爬虫简单介绍 jsoup 是一款 Java 的HTML 解析器,可通过DOM,CSS选择器以及类似于JQuery的操作方法来提取和操作Html文档数据。 这两个涉及到的点有以下几个: 1、httpclient获取网页内容 2、Jsoup解析网页内容 3、要达到增量爬...

Zhangrunhong的博客 1444

spring java将一个网页链接转化为html字符串并当作一个页面返回给浏览器

导入依赖 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.3</version> </dependency> ...

u014520797的专栏 3985

jsoup分页爬取实战:从HTML解析到数据采集的完整指南

在Java开发中,网页数据采集是一项常见需求,而HTML解析是爬虫技术的基础环节。jsoup作为一款轻量级的Java HTML解析库,能够高效提取静态页面中的结构化数据,尤其适合处理分页列表、资讯内容和商品信息等场景。分页爬取的核心在于理解URL构造规律与终止条件,同时需要应对编码乱码、连接超时、JS渲染页面等典型问题。通过合理设置连接参数、选择器定位、重试机制和并发限速策略,可以显著提升采集效率与稳定性。数据入库前的去重校验和断点续爬设计,则能保证任务的完整性与可恢复性。本文围绕jsoup分页爬取的工程实

weixin_30231327的博客 56

java Jsoup爬取静态网站

1 public static void configUrl() throws IOException { 2 setAgent("10.1.111.14", "1080"); 3 System.setProperty("https.protocols", "TLSv1.2,TLSv1.1,SSLv3"); 4 Documen...

weixin_34056162的博客 413

【芯片驱动】2. CMT2300A配合硬件测试(灵敏度和发射功率)的软件实现

前言 在开发一款无线射频产品的时候,软件是一部分,硬件也是一部分。而决定无线收发性能的,首先是硬件的匹配电路,然后才到软件部分的优化。 一款无线射频产品,首先需要先决定是在那个频率范围内(当然是国家允许的范围内),然后硬件则需要在基于这个频点范围进行硬件的参数匹配,具体又分为发送功率匹配、天线匹配、和接收灵敏度的匹配。 现在我们使用2300a这款无线芯片来说,除非自己的团队是射频专家,则可以自己进行无线外围电路的设计外,另外一种更加快捷的方式,就是寻找原厂技术支持,他们会给...

sishuihuahua的博客 7062

使用Python进行核磁数据预处理

随着医学与人工智能技术的快速崛起,伴随算法算力、数据等关键要素的积累和突破,人工智能技术在精准医学领域的科研应用也随之飞快增长,相关科研成果和学术论文数量逐年激增,医学影像人工智能涉及的技术如图像分割、病灶识别、病灶自动勾画、影像组学、深度学习模型构建和临床信息解析越来越趋于分析流程化,模块化,帮助越来越多的医生在临床科研实践中获得突破性的进展。根据具体的应用和数据类型,你可能需要调整或添加额外的步骤。对于更高级的处理,如图像分割或NMR数据的复杂处理,你可能需要查阅更专业的文献或使用更专业的软件工具。

xhlo521的博客 3133

java 获取静态页面_Java Jsoup 抓取静态网页

一,简介Jsoup:jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。因为需要我要爬取数据,结果发现单独 jsoup 只能解析静态的html 文件,对于动态的js加载的HTML 无法获取,这就有很大的局限性。但是一般也只是把jsoup 当作一个解析HTML的工...

weixin_35879114的博客 637

北斗三号PPP-B2b信号实战指南:从接收机配置到精度验证全流程

本文提供了北斗三号PPP-B2b信号从硬件配置到数据处理的全流程实战指南。详细解析了信号特性、接收机关键参数设置,并以飞纳接收机和Mass软件为例,演示了数据解算与精度验证方法。通过覆盖中国多地区的联调测试案例,验证了PPP-B2b服务可实现分米级实时定位精度,为无网络地区高精度应用提供了可靠解决方案。

nn3456的博客 555

Java爬虫——抓取静态网页

一、HttpClient vs HttpUrlConnection 抓取一张网页的内容,通常使用HttpClient 、HttpUrlConnection,首先查了下这两个类的区别: java.net 包中提供了HttpURLConnection来访问 HTTP 协议,这个是java的标准类,什么都没封装,用起来太原始,不方便 Apache的HttpClient模块,用来提供高效的、最新

EQ___的博客 2255

IsaacLab从入门到精通(二) 导入自定义机器人

IsaacLab系列第二讲,导入自定义的机器人及设置

DejaWu33的博客 8469

Trustzone/TEE/安全 面试100问-目录

关键词:cache学习、mmu学习、cache资料、mmu资料、arm资料、armv8资料、armv9资料、 trustzone视频、tee视频、ATF视频、secureboot视频、安全启动视频、selinux视频,cache视频、mmu视频,armv8视频、armv9视频、FF-A视频、密码学视频、RME/CCA视频、学习资料下载、免费学习资料、免费 周贺贺,baron,代码改变世界ctw,Arm精选, 资深安全架构专家,十年手机安全/SOC底层安全开发经验。擅长trustzone/tee安全产品的设计

baron-周贺贺-代码改变世界ctw 652

【Java爬虫】Jsoup

想要学习Java爬虫,肯定要学Jsoup。 jsoup是一款Java的HTML解析器,主要用来对HTML解析,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

别下完这场雪 6662

MATLAB - ROS 2 工具箱入门教程

ROS 工具箱提供了一个连接 MATLAB® 和 Simulink® 与机器人操作系统(ROS 和 ROS 2)的接口。利用该工具箱,您可以设计 ROS 节点网络,并将 MATLAB 或 Simulink 生成的 ROS 节点与现有的 ROS 网络相结合。工具箱包括 MATLAB 函数和 Simulink 块,可通过记录、导入和回放 rosbag 文件来可视化和分析 ROS 数据。您还可以连接到实时 ROS 网络,访问 ROS 消息。

机器人控制与仿真应用 3070

JSOUP实现网页爬取实现范例

JSOUP介绍 JSOUP介绍 概念 说明:JSOUP是java操作Html的工具包,操作类似于jQuery(#id, element, .class) 入门案例 获取静态数据 页面分析 入门案例 /** * 1.爬取静态页面数据 获取页面标题 * 2.定位目标网站的页面 * 3.定位页面的元素内容 ...

zhuangxingzan的专栏 637

SIMULINK开发项目实例 1000 例专栏之第960例--基于电力系统稳定性的建模与仿真场景:-含分布式电源的配电网电压稳定性研究

间歇性与随机性:例如,太阳能依赖于日照强度,风能依赖于风速,这使得它们的输出功率具有不确定性。逆变器接口:大多数分布式电源通过逆变器接入电网,这对电网的动态响应特性产生了影响。位置分散:通常分布在用户侧或靠近负荷中心的位置。本文详细介绍了如何使用Simulink结合Simscape Electrical 构建一个用于研究含分布式电源配电网电压稳定性的模型,并提供了详细的仿真流程说明。

xiaoheshang_123的博客 157

YOLOv9原创自研:卷积魔改 | 一种新颖的风车形卷积(PConv)融合注意力机制,加强微弱小目标检测能力

为了进一步提升小目标检测能力,风车形卷积(PConv)融合注意力机制进一步提升小目标检测能力

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 367

Jsoup 爬虫:轻松搞定动态加载网页内容

虽然 Jsoup 本身无法直接处理动态加载的网页内容,但通过结合 Selenium 等工具,我们可以轻松获取动态渲染后的页面源码,并利用 Jsoup 强大的解析能力提取所需数据。本文通过详细的代码示例和解析,展示了如何实现这一过程。在实际应用中,开发者可以根据具体需求调整代码逻辑,优化性能,并注意遵守相关法律法规。

Z_suger7的博客 1962

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

爬虫系列-jsoup爬取网页你需要了解的一切

爬虫系列-jsoup爬取网页概述解析和遍历文档文档的对象模型加载HTML数据从String解析文档从String中加载解析片段从URL加载文档描述从文件加载文档描述提取数据使用DOM方法导航文档描述寻找元素元素数据处理HTML和文本使用selector-syntax查找元素描述选择器概述选择器组合伪选择器从元素中提取属性,文本和HTML描述解析URL描述案例:列出链接修改数据修改属性值描述修改元素...

lijianbiao0的博客 2780

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

使用Jsoup爬取网页中的新闻内容与图片链接

通过Jsoup解析网页,提取新闻正文、图片链接及标题信息,结合实际HTML结构处理多层级标签,实现稳定的数据抓取,并对可能的异常情况进行容错处理。

weixin_32445049的博客 1008

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

使用Jsoup爬取网页中的新闻与图片链接

通过Jsoup解析网页内容,提取新闻文本、图片链接及文章URL,结合实际HTML结构处理多层级标签,实现稳定高效的数据抓取。

weixin_32102617的博客 945

Jsoup爬取网页图片与新闻内容实战

通过Jsoup解析网页,提取新闻中的图片链接和文字内容,针对不同HTML结构分别处理,实现稳定抓取并避免异常,适用于校园门户等信息聚合场景。

weixin_31459297的博客 769

java爬虫与python爬虫的区别_Java爬虫(Jsoup与WebDriver)的使用

一、Jsoup爬虫jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。以博客园首页为例1、idea新建maven工程pom.xml导入jsoup依赖org.jsoupjsoup1.12.1jsoup代码package com.blb;import org.jso...

weixin_39753260的博客 5297

Android Jsoup爬取网页数据及其局限性,接口爬取数据的思路

但是,我在爬取某些网页的时候,发现某些数据拿不到,拿不全,我发现有些网页,他的数据并不是一次获取的,按F12发现,他会并行请求很多数据再展示,所以,Jsoup是否可以真的获得动态网页的数据呢?1.首先是element查看当前网页的源代码,在旁边的黄色标记的箭头,你点击后,再去点左边网页的元素,你就知道,它的数据在哪里了。我看网上其实有很多的Jsoup博客,讲的挺好的,但是有些许差异,有的也将错了,我还是推荐去官网学习,内容很少,也很简便。emmmm,在爬取一个网站的音乐数据时,用Jsoup好久都没搞出来。

Android 领域开发程序员,希望通过写博客的方式不断的总结提升自己,大家共同进步哦! 1601

Java爬虫:Jsoup+OkHttp实战指南

本文介绍了Java爬虫开发的基础实践,重点推荐了"Jsoup+OkHttp"这一主流工具组合。Jsoup负责HTML解析,语法类似jQuery,支持CSS选择器和XPath;OkHttp作为HTTP客户端,支持连接池、超时设置等功能。文章通过爬取静态博客标题的完整示例,详细说明了环境准备、代码实现和关键注意事项,包括添加User-Agent规避反爬、异常处理和超时设置等企业级开发规范。同时强调了合规爬取原则,建议遵守robots协议,避免高频访问。对于动态页面,推荐使用Selenium工

2301_78566776的博客 1591

Android开发笔记:用Jsoup简单获取网页的数据

由于Android系统不允许我们在主线程中进行网络通信,所以我们开启一个线程,并。

Tai_Monster的博客 2776
上一篇: hive中的高阶函数-窗口函数
下一篇: py 将文件打包exe
@nanami
博客等级 码龄9年 4247粉丝 53原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@nanami

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值