使用jsoup爬取网站图片

jsoup实现爬取网页图片 1.dao层实现: import org.apache.commons.io.IOUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import spider.utils.JdbcUtil; import javax.sql.DataSource; import java.io.File; impor 阅读详情
package cn.sp;


import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.Random;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

/**
 * a example program to list links from URL
 * @author pc
 *
 */
public class ListLinks2 {
	public static void main(String[] args) throws Exception {
		String url = "https://www.xxinbao.com";
		print("Fetching %s...",url);
		
		Document doc = Jsoup.connect(url).get();
		//获取后缀名为 jpg和png的图片元素集合
		//Elements images = doc.select("img[src~=(?i)\\.(png|jpe?g)]");
		Elements images = doc.select("img");
		print("发现目标 %s个",images.size());
		for (Element ele : images) {
			String imageUrl = ele.attr("src");
			if(imageUrl.contains("gif")){
				continue;
			}
			if(!imageUrl.contains("https")){
				imageUrl = url+imageUrl;
			}
			System.out.println("======"+imageUrl);
			URL url1 = new URL(imageUrl);
			URLConnection connection = url1.openConnection();
			InputStream in = connection.getInputStream();
			 String uuid = String.valueOf(System.currentTimeMillis()+new Random().nextInt(9));
			 
			 String path = "E:\\logs";
			 String imageName = uuid+".jpg";
			 
			 OutputStream out = new FileOutputStream(new File(path,imageName));
			 byte[] buff = new byte[1024];
			 int i = -1;
			 while( (i =in.read(buff)) != -1){
				 out.write(buff,0,i);
			 }
			 in.close();	
			 out.close();
		}
		System.out.println("爬取图片完毕");
	}
	

	private static void print(String msg, Object... args) {
		System.out.println(String.format(msg, args));
	}
}

结果如下:


Jsoup爬取网站图片 Jsoup 是一款 Java 的 HTML 解析器,我们可以用它进行网站图片的爬取,然后下载到本地文件夹中。 首先在pom.xml中添加依赖。 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> </dependency> 首先我们写出下载图片 阅读详情

相关推荐

jsoup爬虫

文章目录1、jsoup爬虫简单介绍2、相关代码2.1导入pom依赖2.2、图片爬取2.3、图片本地化3、百度云链接爬虫 1、jsoup爬虫简单介绍 jsoup 是一款 Java 的HTML 解析器,可通过DOM,CSS选择器以及类似于JQuery的操作方法来提取和操作Html文档数据。 这两个涉及到的点有以下几个: 1、httpclient获取网页内容 2、Jsoup解析网页内容 3、要达到增量爬...

Zhangrunhong的博客 1442

java使用htmlunit + jsoup 爬网站图片案例(爬虫学习)

该文章用于自己学习爬虫使用。

喜欢分享,善于记录工作中遇到的问题,和自己的思考 1388

jsoup从网络上抓取图片

利用jsoup抓取网站图片并下载,保存到本地文件夹。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

Java爬虫第四篇:使用selenium、Jsoup 抓取图片

通过自动化工具selenium模拟人工浏览器行为,并捕获到html代码,并用Jsoup 处理html代码,提取出其中的图片数据。

Java 技术专栏,从入门到精通,熟悉企业级开发 861

使用Jsoup,抓取整个网站(包括图片、js、css)

经过测试,可以抓取一个完整的网站,包括网站的图片、css、js等。同时根据网站目录,在本地生成相同目录。使用Jsoup+Java。下载之后,可以直接运行。

人大金仓V8R3企业版License更新全攻略:从查看到重启一步到位

本文详细解析了人大金仓V8R3企业版License更新的完整运维流程,涵盖从诊断当前授权状态、获取与验证新文件、精准定位旧文件路径,到安全替换文件及服务重启验证的全过程。重点针对更新流程中常见的版本匹配、文件定位、权限与服务重启等关键环节提供了实战解决方案和避坑指南,帮助运维人员高效、平稳地完成授权续期。

redis7keeper的博客 896

jsoup爬取网站图片

package com.ij34.JsoupTest; import java.io.File; import java.io.FileOutputStream; import java.io.Inp...

weixin_39037804的博客 494

关于MOS管栅极和栅介质(氧化物)的材料选择

大概解释了高K材料作为栅介质的好处,以及为什么会带来好处,同时引出了金属栅的优点,总结了使用高K材料和金属栅的原因。

qq_52054477的博客 1万+

Jsoup框架爬取网络图片

一、先在build.gradle中导入这两个框架,一个是jsoup(爬虫),一个是picasso(加载网络图片),一个是列表控件recycleview;导入后ctrl+f9 dependencies { implementation 'org.jsoup:jsoup:1.9.2' implementation 'com.squareup.picasso:picasso:2.5.2' implementation 'com.android.support:recyclerview-

weixin_43769732的博客 646

伪距单点定位算法原理以及利用最小二乘法计算实例

即该公式:建立下列代价函数满足最佳估值的条件为:即:可解得未知参数 X 的最佳估值由于每个可见卫星观测量的精度可能不一样,这时,需要对不同观测量赋予一个权重系数,称为加权。

qq_43381998的博客 1万+

关于使用CMT2300A FIFO缓存区间设置为64Byte的问题

帮助你解决在使用CMT2300A 时遇到的各种问题,若有需要,请及时与我交流

teleger的博客 1428

jsoup php网站,jsoup怎么把爬取网站的图片保存到本地

这次给大家带来jsoup怎么把爬取网站的图片保存到本地,jsoup把爬取网站的图片保存到本地的注意事项有哪些,下面就是实战案例,一起来看一下。因为项目需求,需要车辆品牌信息和车系信息,昨天用一天时间研究了jsoup爬取网站信息。项目是用maven+spring+springmvc+mybatis写的。jsoup开发指南地址这个是需要爬取网站的地址 https://car.autohome.com....

weixin_39640085的博客 331

用Python+ArcGIS分析厦门共享单车数据:5分钟搞定订单时长与距离分布的可视化

本文详细介绍了如何利用Python和ArcGIS Pro 3.x快速分析厦门共享单车数据,实现订单时长与距离分布的可视化。通过数据清洗、预处理和高级可视化技巧,揭示用户行为特征,为运营优化提供数据支持。文章还提供了环境配置、代码示例和业务洞察,帮助开发者高效完成数据分析任务。

weixin_28327051的博客 336

使用Jsoup爬取网站图片

1 package com.test.pic.crawler; 2 3 import java.io.File; 4 import java.io.FileOutputStream; 5 import java.io.IOException; 6 import java.io.InputStream; 7 import java.io.Out...

bajiaoyan5785的博客 546

LVGL嵌入式GUI工程化架构与多窗口实践

嵌入式GUI开发中,LVGL作为轻量级图形库,其核心价值在于高效渲染与事件驱动机制。理解LVGL的对象树模型、资源管理机制(如RAW图像、静态字体)和屏幕生命周期,是构建稳定界面的基础。结合FreeRTOS等实时操作系统,可实现低功耗、高响应的交互体验。典型应用场景包括智能电表、HMI人机界面、工业控制面板等对内存敏感、需长期运行的设备。本文以微信式多窗口架构为范例,深入解析LVGL工程化落地的关键路径:分层目录结构、窗口模块封装、状态机式登录逻辑、TabView多页导航及图表/仪表盘动态可视化,覆盖从资源

weixin_36001279的博客 88

piamon实战-- 如何使用 Paimon 的 Java API 实现数据的点查

点查(Point Lookup)是指通过 ​​唯一键(Primary Key)​​ 快速定位并返回单条或少量数据的查询模式。例如:根据用户 ID 查询用户信息、根据订单号查询订单详情等。点查的核心诉求是 ​​低延迟​​ 和 ​​高吞吐​​,适用于实时风控、在线分析等场景。​​定义主键表结构​​,优化数据分布。​​构建过滤条件​​,使用指定查询键。​​执行查询并处理结果​​,结合流式更新实现实时查询。

阿华田的博客 530

利用Jsoup爬取网站的图片,保存到本地

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 学习的过程中可能会用到其他的API,下面一个类做一下简单的测试 import java.io.BufferedInputStream; import java.io.File; import java....

HeartCircle的博客 5188

Arduino、ESP32驱动BMP390L数字大气压传感器(压力传感器)

BMP390L是一款博世新研发的工业级专用数字气压传感器,具有极高的温度稳定性、低漂移、低功耗。

不脱发的程序猿 2007

Java爬虫之利用Jsoup+HttpClient爬取类叔叔不约匿名聊天网站的图片,未果——后爬取某网站美女图片案例

博主最近学了一点爬虫的知识,闲着无聊,秉承学以致用的理念,于是突然想到何不挑战一下,爬取一些叔叔不约网站的图片,来巩固一下所学知识(#滑稽)。说干就干,打开eclipse或idea,创建maven工程,引入所需jar包的依赖: <dependencies> <!-- httpClient--> <dependency> ...

weixin_41532316的博客 2万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Jsoup在Android的使用(三)获取图片

这篇文章,讲一下如何在Android端使用Jsoup爬取网上的图片,例如(百度图片,搜狗图片等)。本来这篇文章应该会在Jsoup在Android的使用(二)爬取简书的文章之后写的。但是,写了标题后,没时间去写,就一直推到现在了。今天,把如何使用Jsoup爬取图片整理一下,希望有需要的朋友可以借鉴。...

zhaojun的博客 2万+

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

java爬虫——爬取网站图片

目录问题:java能否实现爬虫,如何爬取jsoup简介获取jsoupMavenGradlejsoup几个常用的类DocumentElement及Elements解决办法:jsoup实现爬虫功能代码展示应用展示总结参考资料 问题:java能否实现爬虫,如何爬取 在学习爬虫的时候,我是从python入门的。爬虫的原理也不难,获取服务器返回的html文件,然后通过正则表达式对html字符串进行解析,至于...

weixin_41308870的博客 1453

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

2024年Java爬虫利器:Jsoup详细介绍与用法_java jsoup(1)

/ 加载新闻网站的HTML文档。// 加载图片网站的HTML文档。

2401_84562143的博客 1448

利用jsoup抓取指定网页的照片【也可以修改一下抓取其他内容】

本来是无意中看到有人在学校发了一些美图,你懂的,自己就动手把相关网站的部分图片抓取下来,思路很简单,将html文档转为document,然后利用jsoup提取id为index-pic的div标签。。。。。。代码中有了比较详细的注释,给位客官慢用。新手练手用,没什么技术含量,还存在很多不足,希望大家能给点建议优化。

pan_you0的博客 777

Java爬虫利器:Jsoup详细介绍与用法

使用Java库Jsoup,我们可以轻松地解析和处理HTML文档,从而从网页中提取所需的信息。我们可以使用选择器和查找元素的功能快速定位和提取元素,使用提取元素属性和文本的功能获取所需的内容,使用遍历和修改元素的功能对元素进行操作,甚至可以使用Jsoup处理HTML表单。Jsoup是一款功能强大且易于使用的Java爬虫专用库,相信通过本文的介绍,您已经对Jsoup有了更深入的了解,并能够灵活运用它来解决实际问题。让我们一起享受用Jsoup编写爬虫程序的乐趣吧!

hitpter的专栏 4563

通过URL连接爬取资源(图片) java语言编写一个简单爬取网站图片工具

通过 java.net.HttpURLConnection 获取一个URL连接 HttpURLConnection 连接成功返回一个java.io.InputStream,通过InputStream读取图片放入到字节数组buff 通过BufferedOutputStream(new FileOutputStream(new File(“TEST.jpg”))) 形式 将内存buff里的图片数据写入...

仗剑天涯的博客 442
上一篇: cxf整合spring练习
下一篇: lucene项目实战【一】
2YSP
博客等级 码龄10年 12粉丝 34原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值