jsoup入门

jsoup是一款Java的HTML解析器,主要用来对HTML解析。官网   中文文档

可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。

jSOUP主要功能

  1. 从一个URL,文件或字符串中解析HTML;
  2. 使用DOM或CSS选择器来查找、取出数据;
  3. 可操作HTML元素、属性、文本;

例子:下载一个网站上的图片

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * 利用Java实现搜索引擎爬虫技术
 * 
 * @version v1.0
 */
public class Test {

    /**
     * 根据图片的url地址,下载图片到服务器
     * 
     * @param filepath
     *            文件存放路径
     * @param imageUrl
     *            图片url
     * @return void
     */
    public static void downImage(String filepath, String imageUrl) {
        String fileName = imageUrl.substring(imageUrl.lastIndexOf("/"));
        // 创建一个文件目录
        try {
            File files = new File(filepath);
            if (!files.exists()) {
                files.mkdirs();
            }
            // 获取下载链接
            URL url = new URL(imageUrl);
            // 连接网络地址
            HttpURLConnection connection = (HttpURLConnection) url.openConnection();
            // 获取连接的输出流
            InputStream is = connection.getInputStream();
            // 创建文件
            File file = new File(filepath + fileName);
            // 建立输入流,写入文件
            FileOutputStream fos = new FileOutputStream(file);
            int temp = 0;
            while ((temp = is.read()) != -1) {
                fos.write(temp);
            }
            is.close();
            fos.close();
        }
        catch (Exception e) {
            e.printStackTrace();
        }
    }

    // Java入口
    public static void main(String[] args) {

        // 解析源代码
        Document document = null;
        try {
            document = Jsoup.connect("http://news.163.com/18/0306/13/DC7GIBMB000187VE.html").get();
        }
        catch (IOException e) {
            e.printStackTrace();
        }
        // 获取所有图片的地址<img src="" alt="" width="" height=""/>
        Elements elements = document.getElementsByTag("img");
        for (Element element : elements) {
            String imgSrc = element.attr("src");
            System.out.println("网络图片的地址:" + imgSrc);
            if (!"".equals(imgSrc) && imgSrc.startsWith("http://")) {
                System.out.println("正在批量下载图片..." + imgSrc);
                downImage("C:\\Users\\shay_deng\\Desktop\\下载图片测试", imgSrc);
            }
        }
    }
}

 

转载于:https://www.cnblogs.com/RealWorld/p/8522124.html

银河麒麟V10 SP1 x86_64架构下离线部署全栈开发环境:Java8+Mysql5.7+Tomcat8实战指南 本文详细介绍了在银河麒麟V10 SP1 x86_64架构下离线部署全栈开发环境的实战指南,包括Java8、Mysql5.7和Tomcat8的安装与配置。通过步骤详解和常见问题排查,帮助开发者在国产操作系统上高效搭建稳定可靠的开发环境,特别适合政务系统和企业级应用部署。 阅读详情

相关推荐

CCC数字钥匙3.0标准解读(16)

介绍通信过程最重要部分:身份认证和加密.介绍需要身份认证的过程和需要加密的数据及过程.

weixin_41738640的博客 1536

xml解析--Jsoup快速入门

xml解析--Jsoup快速入门概念快速入门步骤 概念 Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 快速入门 步骤 导入jar包 jsoup-1.11.2.jar 获取Document 获取对应的标签Element对象 获取数据 package com.xml.jsoup; import org.jsoup.Jsoup; import o

qq_43370892的博客 381

计算机网络实验——入侵检测系统实验

在图1所示的网络结构中,此方案的具体实施:在路由器Router1的接口1出方向配置入侵检测策略,在收到ICMP ECHO请求包时,丢弃并同步向日志服务器报告警告,此时,终端PC2和PC3无法对终端PC0和PC1执行ping操作,并且日志服务器将记录相应的警告信息;在实验一的基础上,添加扩展分组过滤器,指定需要进行检测的信息流的类别,将扩展分组和对应的入侵检测规则进行绑定,使得只对特定的信息流进行入侵检测。加载指定类别的特征库,这里的指定类别是 ios_ips 类别中的 basic 子类别。

放放的博客 1563

JAVA爬虫入门篇——jsoup

在一个偶然的机会下,我接到了一个网页爬虫的需求。但是之前对爬虫也只是偶尔听说,那么这次就借这次机会来进行一次爬虫相关入门。然而由于本人技术栈限制,这次仅是通过Java进行爬虫进行入门学习。

weixin_55549435的博客 1531

《UDS协议从入门到精通》系列——图解0x83:访问时间参数

详细介绍UDS协议0x83服务,目标ECU的时序参数设置有哪些注意点?

车载系统攻城狮 2138

基于STM32的IMU惯性/姿态解算与多参数上位机可视化实现_资料编号38

本项目实现基于STM32F103C8T6标准库,对姿态/惯性(IMU)传感器姿态解算,通过USB-TTL转串口模块将姿态角/欧拉角、加速度、角速度、磁场、气压、海拔高度、磁力计温度、气压计温度等数据显示在PC端上位机,系统采用可充电锂电池供电。

嵌入式阿齐Archie 1万+

Jsoup入门

1、什么是Jsoup?jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。2、pox.xml &lt;!-- 添加httpclient支持 --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apach...

ryelqy的博客 980

Allegro174版本如何关闭模块复用后铜皮自动从动态变成静态操作指导

在用Allegro进行PCB设计的时候,模块复用是使用的十分频繁的操作,当Allegro升级到了174 S034版本的时候,当使用模块复用的功能的时候,模块内的铜皮会自动动静转换,大部分情况是不需要的。版本如何关闭模块复用后铜皮自动从动态变成静态操作指导。如何关闭这个功能,具体操作如下。

weixin_54787054的博客 1262

Jsoup 之入门

1、jsoup 简介 部分摘自 http://www.ibm.com/developerworks/cn/java/j-lo-jsouphtml/ Java 程序在解析 HTML 文档时,相信大家都接触过 htmlparser 这个开源项目,Jsoup 功能比 htmlparser 更加强大,...

chengtuo5899的博客 177

第11节:GPU 线程层级:线程、线程块、网格

层级标识变量功能线程threadIdx执行单元,处理数据线程块blockIdx管理多个线程,提供共享内存网格管理多个 blockGPU 编程中,合理安排线程层级,是提升性能的关键。

yumeiguo的博客 213

从零开始:手把手教你设计人形机器人锂电池供电系统

人形机器人要像人类一样“活起来”,必须有稳定的“能量血液”——供电系统。本文聚焦锂电池供电系统如何根据机器人功耗选择合适的锂电池参数(容量、电压、放电倍率);如何设计电池管理系统(BMS)保护电池安全;如何解决机器人运动时的“瞬时大电流”供电难题;如何通过硬件电路和代码实现供电系统的监测与控制。用“机器人小助手的能量危机”故事引入锂电池供电系统;拆解锂电池核心参数(容量、电压、放电倍率)和供电系统三大组件(电池组、BMS、电源转换模块);

AI天才研究院 1761

java jsoup爬取动态网页_java通过Jsoup爬取网页(入门教程)

一,导入依赖org.jsoupjsoup1.10.3org.apache.httpcomponentshttpclient二,编写demo类注意不要导错包了,是org.jsoup.nodes下面的package com.taotao.entity;import org.apache.http.HttpEntity;import org.apache.http.client.methods.Clos...

weixin_29191761的博客 1575

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Jsoup 快速入门

Jsoup:jsoup 是一款Java 的HTML解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据 (1)导入jar包 (2)获取Document对象 (3)获取对应的标签Element对象 (4)获取数据 导入 jar 包,并将 建立的 libs 设置为 Module Lib...

南淮北安的博客 520

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

JSoup快速入门

Jsoup Jsoup是用于解析HTML,就类似XML解析器用于解析XML.Jsoup它解析HTML成为真实世界的HTML。它与jquery选择器的语法非常相似,并且非常灵活容易使用以获得所需的结果。在本教程中,我们将介绍很多Jsoup的例子。 能用Jsoup实现什么? 从URL,文件或字符串中刮取并解析HTML 查找和提取数据,使用DOM遍历或CSS选择器 操纵HTML元素,属性和文本...

AYXYJ 520

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Jsoup 简介与入门

Jsoup简介 Jsoup是一个Java的HTML下载和解析工具,相当于Python的爬虫,用好了,基本能实现Python爬虫的功能。Jsoup中,主要操作两个类:Document和Element。Document主要指代对象是网页文档,Element主要指代对象是网页文档中的各个Tag标签抽象出来的节点。 Jsoup基本使用过程 1.下载网页得到Document对象 2.利用Element的方法...

星辰火之梦 957

java爬虫之Jsoup入门

网络爬虫 网络爬虫概念 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫用途 搜索引擎,常见的搜索引擎背后都是一个庞大无比的爬虫网络,用于随时随地从互联网上抓取信息,例如百度,谷歌,搜狗,bing等. 数据分析,获...

522

jsoup入门-加载总结

本文章由参考http://www.open-open.com/jsoup/parsing-a-document.htm 的jsoup教程,总结而成。 加载数据 解析html,使用joup.parse(html)方法 html可为html的总体,body部分,或者一个body的片段 String html = "&lt;html&gt;&lt;head&gt;&lt;title&gt;Fir...

今天吃了吗的博客 562

jsoup解析器快速入门

* Jsoup:jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 * 快速入门: * 步骤: 1. 导入jar包 2. 获取Document对象 3. 获取对应的标签Element对象 4. 获取数据 <?<?xml version="1.0" encoding="UTF-8"?> <!--<!DOCTYP

qq_44336097的博客 190

Jsoup入门基本操作

Jsoup.jar介绍 Jsoup是用于解析HTML的一个第三方jar包,能够快速方便的提取出DOM结构、 常用方法 获取Document 通过字符串 Jsoup.parse(String html) --根据字符串来获取Document对象 获取Body Document d= Jsoup.parseBodyFragment(String html) d.b...

Wyndem的博客 565

jsoup 入门祥细官方示例

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34129696的博客 5171
上一篇: JSTL 显示时间格式、判断为空、判断相等,botton禁用、禁用转化为启用、转换为另一个botton...
下一篇: 9个基于Java的搜索引擎框架
dhytk6647
博客等级 码龄12年 0粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值