java爬取图片

java爬虫WebMagic框架爬取图片 一.该爬虫用了WebMagic爬虫框架实现 1.WebMagic开发文档:http://webmagic.io/ 2.在使用之前,您需要了解正则表达式和XPath,大神请忽略 二.下面是实现代码和分析 2.1添加maven依赖 不知道maven的童鞋请参考https://my.oschina.net/huangyong/blog/194583 <dependency&g... 阅读详情
import java.io.BufferedReader;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.HashSet;
import java.util.Set;

public class CrawlerPic {

	private static Set<String> imgs = new HashSet<String>();

	public static void main(String[] args) throws IOException {
		URL url = new URL("https://www.qq.com/");
		BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()));
		String s;
		while ((s = br.readLine()) != null) {
			System.out.println(s);
			if (s.indexOf("<img") != -1) {
				int i = s.indexOf("<img");
				int j = i;
				while (true) {
					char ch = s.charAt(j++);
					if (ch == '>')
						break;
				}
				String img = s.substring(i, j);
				img = img.substring(1, img.length() - 1);			

				String[] imgs = img.split("\" ");
				for (String string : imgs) {
					i = 0;
					while (i != -1) {
						i = string.indexOf("src=");
						if (i != -1) {
							img = string.substring(i + 5);
//							writeToFile(img);
						}
						if ((i = string.indexOf("data-src=")) != -1) {
							img = string.substring(i + 10);
//							writeToFile(img);
						}
						if ((i = string.indexOf("data-original=")) != -1) {
							img = string.substring(i + 15);
//							writeToFile(img);
						}
						i = -1;
					}
				}

			}
		}
		System.out.println(imgs);
	}

	private static void writeToFile(String img) {
		img = img.trim();
		if (img.length() == 0) {
			return;
		}
		if (imgs.contains(img))
			return;
		imgs.add(img);

		if (img.charAt(img.length() - 1) == '"')
			img = img.substring(0, img.length() - 1);
		String fileName = img.substring(img.lastIndexOf("/") + 1);
		if (fileName.indexOf(".") == -1) {
			String[] url = img.split("[/]");
			fileName = url[url.length - 2] + "_" + url[url.length - 1] + ".png";
		}
//		System.out.println(fileName);
		InputStream in = null;
		FileOutputStream out = null;
		try {
			if (!img.startsWith("http"))
				img = "https:" + img;
			URL url = new URL(img);
			in = url.openStream();

			out = new FileOutputStream("E:/tmp/" + fileName);
			int i = 0;
			while ((i = in.read()) != -1) {
				out.write(i);
			}
		} catch (Exception e) {
			System.err.println(e.getMessage());
		} finally {
			if (out != null)
				try {
					out.close();
				} catch (Exception e) {
				
				}
		}

	}
}

 

QcarCamera-EVS HAL实现(一) 高通车载EVS实现 阅读详情

相关推荐

R 绘制环形树状图

按大类小类的从属关系绘制环形图,并把不同值的节点设置为相应大小。要求同一类的节点应为同一颜色。 按照输入,处理代码和输出记录

weixin_43718786的博客 1872

使用Java爬取图片

Java爬取图片 第一步 创建一个Maven项目 (我是创建的一个springboot项目) 第二步 导入Jsoup包 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.2</version> &l

😎😎😎 1963

实验室LIMS系统选型指南:从赛默飞到金现代,5大主流方案横评

本文深入分析了实验室LIMS系统选型的5大核心维度,包括架构选择、行业适配性、合规性设计、智能化程度和成本模型。通过对比赛默飞、金现代等主流厂商的优劣势,提供实战避坑策略,帮助实验室管理者做出明智决策,提升运营效率和合规水平。

plum99的博客 259

Java爬虫的几种方式

爬虫(Web crawler)是一种自动化程序,用于浏览互联网并收集网页数据。它可以按照预定的规则自动访问网页、提取数据,并将数据存储到本地或其他目标位置。爬虫通常用于搜索引擎、数据挖掘、信息收集、监测等应用。爬虫的基本工作原理是模拟人类在浏览器中访问网页的过程。它发送HTTP请求到目标网站,并获取返回的HTML或其他类型的响应。然后,爬虫解析HTML响应,提取出需要的信息,如链接、文本、图像等。这些信息可以进一步处理、存储或分析。

qq_45506362的博客 1万+

解决mmdet3d安装中因PyTorch高版本引发的THC.h缺失问题

本文详细分析了在安装mmdet3d时,因PyTorch版本过高导致THC.h头文件缺失的常见报错问题。文章指出该错误的本质是PyTorch 1.7+版本废弃了旧API,与老版本C++扩展代码不兼容。提供了两种核心解决方案:一是降级PyTorch至1.6及以下版本;二是修改源码,将THC.h引用替换为ATen/cuda等新头文件,并给出了具体的代码修改示例和排查技巧。

weixin_29085151的博客 379

Matplotlib字体警告终结者:为什么总提示DejaVu Sans?5种场景解决方案大全

本文深入解析Matplotlib中常见的DejaVu Sans字体警告问题,并提供5种典型场景的完整解决方案。从理解字体系统的三层架构和缓存机制,到解决中文显示、远程服务器部署、TeX渲染、缓存优化及生产环境配置等实际问题,帮助开发者彻底摆脱字体警告困扰,实现稳定可靠的数据可视化。

view3的博客 502

Java爬虫批量爬取图片

Java爬取妹子图片(2020年3月) 现在开始学习爬虫,发现大多数人的入门程序多是爬取美女图片,感觉这似乎是一个传统,所以我也就来继续这个传统吧。这是学习技术的,不是下载图片的! 因为我是Java方向的,所以我就使用Java来写这个小爬虫程序了。 目标网址:妹子图 使用技术:Java基础知识、HttpClient 4.x 、Jsoup 爬取目标:获取几张图片。 爬取思路 对于这种图片的获取,...

qq_40734247的博客 6579

GPS卫星轨道的理论和计算笔记分享

广义相对论预测,对比在时空弯曲度较大的地面上的原子钟,运行于时空弯曲度较小的卫星原子钟在地面上看起来更快,每天快约45us;反过来,当电压施加在晶体上时,晶体形状会扭曲(比如说伸长),而当晶体被施加上反向电压后,它将做相反的变形运动(比如缩短)。X轴:指向参考子午面与地球赤道的一个交点;从北黄极上方观察,地球北极在空间的运动轨迹是一个近似于以北黄极为中心的顺时针方向旋转的圆周,圆周半径等于。从上万年周期看,地球北极绕北黄极做大圆周运动,而从几年的短期来看,北极又在某一点处做局部的小幅椭圆运动。

m0_57139844的博客 2004

JAVA爬虫爬取图片

图片爬取 最近接触了下java的爬虫,文本信息爬完了,就想看看图片怎么爬,于是就研究了一下,案例爬取的是优快云的今日推荐的图片 Jsoup + HttpClients来实现爬虫 所需pom依赖 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dependency> <groupI...

阳某的博客 4866

Simulink机电仿真避坑指南:如何用MATLAB解决液压系统建模的3大典型问题

本文针对液压系统建模在Simulink动态仿真中常见的三大难题——参数物理意义缺失、模型收敛性差及性能优化瓶颈,提供了专业的MATLAB解决方案。文章详细阐述了如何从物理参数推导仿真模型、破解代数环与刚性系统问题,并分享了模型降阶与加速技巧,旨在帮助工程师构建精确高效的机电系统仿真模型。

o9p0q1的博客 295

Python 爬虫高级实战:HTTPS 证书忽略与代理抓包配置

本文深入解析了HTTPS加密与SSL证书校验机制在爬虫开发中的核心问题及解决方案。文章首先剖析了HTTPS协议架构和证书校验流程,指出爬虫开发中常见的证书异常场景及其负面影响。随后详细介绍了Python主流请求库(requests、httpx、aiohttp)的证书忽略配置方法,包括同步/异步模式下的实现方案。针对代理环境,文章系统比较了HTTP、HTTPS、SOCKS5等代理类型的特性差异,并提供了完整的代理配置示例。特别对中间人抓包场景,阐述了Mitmproxy的工作原理和配置要点。最后提出了工程级爬虫

2503_91057718的博客 85

java爬虫——爬取网站图片

目录问题:java能否实现爬虫,如何爬取jsoup简介获取jsoupMavenGradlejsoup几个常用的类DocumentElement及Elements解决办法:jsoup实现爬虫功能代码展示应用展示总结参考资料 问题:java能否实现爬虫,如何爬取 在学习爬虫的时候,我是从python入门的。爬虫的原理也不难,获取服务器返回的html文件,然后通过正则表达式对html字符串进行解析,至于...

weixin_41308870的博客 1453

【技能】OpenClaw Skills学习及手搓一个极简skill

本文介绍了OpenClaw Skills的基础概念与使用方法。Skills是OpenClaw代理使用工具的核心载体,通过SKILL.md文件定义技能属性和执行方式。技能加载遵循"工作区>本地>内置>自定义目录"的优先级规则。用户可通过ClawHub一键安装现成技能,也可自定义开发技能:创建技能目录,编写包含YAML元数据和执行指令的SKILL.md文件,放置于工作区skills目录进行测试。文章还介绍了多代理场景下的技能共享、插件集成以及安全注意事项,包括沙箱使用和敏感

海兰 3976

java 爬取图片_Java爬取简单的网页内容和图片

Java爬取简单的网页内容和图片根据java网络编程相关的内容,使用jdk提供的相关类可以得到url对应网页的html页面代码。针对得到的html代码,通过使用正则表达式即可得到我们想要的内容。比如,我们如果想得到一个网页上所有包括“java”关键字的文本内容,就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容,只得到包括“java”这个关键字的内容的效果。从网页上爬...

weixin_36247910的博客 558

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Java爬取百度图片

之前研究了好久怎样爬取百度图片,每次爬取百度的页数都是一页,数量并不多。 现在终于搞定了。废话不多说,直接上代码。/** * Created by Aiden on 2015/12/9. */import net.sf.json.JSONArray; import net.sf.json.JSONObject; import org.jsoup.Jsoup; import org.jsoup.

new_Aiden的博客 3581

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

循环爬取图片_Java爬取简单的网页内容和图片

Java爬取简单的网页内容和图片根据java网络编程相关的内容,使用jdk提供的相关类可以得到url对应网页的html页面代码。针对得到的html代码,通过使用正则表达式即可得到我们想要的内容。比如,我们如果想得到一个网页上所有包括“java”关键字的文本内容,就可以逐行对网页代码进行正则表达式的匹配。最后达到去除html标签和不相关的内容,只得到包括“java”这个关键字的内容的效果。从网页上爬...

weixin_35458961的博客 324

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

java实现图片爬取

java实现图片爬取

m0_61913190的博客 494

Java爬虫:爬取豆瓣图片之代码

关于豆瓣相册页面的特征提取和分析,详见我的另一篇博文:             《初涉爬虫:爬取豆瓣图》http://blog.youkuaiyun.com/allhaillouis/article/details/20226127         本贴展示代码,效果:爬取豆瓣相册,每个页面的图片分开保存在子文件夹下。 package douban; import java.io.Buff

胸口好想碎大石 3242

使用java代码爬取网页(文字和图片都可)

利用Jsoup爬取网页 该代码利用了jsoup去爬取网页,代码是网上找的,将他们合并到了一起,不过合并程度有点低。 使用此代码需要下载jsoup的jar包 代码编写工具:IDEA package com.jiu.data.spider; import com.jiu.data.spiderCanUse.jsoup_html_in_pircture; import org.jsoup.Connection; import org.jsoup.Jsoup; import org.jsoup.node..

an_aijiu的博客 2323

Java爬取壁纸图片

使用jsoup爬取WallHaven网站图片并下载到本地

qq_44717657的博客 726

【用Java爬取网页图片——爬虫爬取数据】

java爬取网络图片,爬虫1、在创建项目中导入jsoup。2、创建一个保存下载图片的路径。4、利用属性标签获取图片连接块。

居然天上楼的博客 2533

selenium+java爬取图片

我运行后,发现这个网址是有反爬机制的,这里用了一种无限循环的方式来解决,反正每次刷新图都不一样,代码仅供学习嗷,这里建议大家千万别去恶意爬取人家的资源,容易被逮。看很多大佬都在用python爬取图片,其实java也可以啦,这里就通过一个例子来跑一把啦。,转载请注明原文链接:http://www.dxzl8.com/

zl5186888的博客 279

java 爬取图片_使用Java多线程爬取网站图片

使用Java爬取网站的图片并保存至本地使用maven导入依赖org.jsoupjsoup1.11.2实现代码:import org.jsoup.HttpStatusException;import org.jsoup.Jsoup;import java.io.*;import java.util.ArrayList;import java.util.List;public class test2 ...

weixin_42680139的博客 346

java爬虫图片_java爬虫-简单爬取网页图片

刚刚接触到“爬虫”这个词的时候是在大一,那时候什么都不明白,但知道了百度、谷歌他们的搜索引擎就是个爬虫。现在大二。再次燃起对爬虫的热爱,查阅资料,知道常用java、python语言编程,这次我选择了java。在网上查找的代码在本地跑大部分都不能使用,查找相关的资料教程也没有适合的。实在头疼、、、现在自己写了一个简单爬取网页图片的代码,先分析一下自己写的代码吧//获得html文本内容String H...

weixin_39709178的博客 461

JAVA爬虫案例——JSOUP爬取图片并使用v-viewer实现图片预览

前言 网络爬虫是大数据时代收集数据的一种有效手段,合理合法的运用技术手段获取网络数据,实现数据的再利用也是程序员的一项重要技能。本节我们使用java环境下的jsoup实现网络数据的爬取,主要是图片数据的异步爬取,并实现网络图片的下载及图片的预览功能,预览功能使用具有丰富功能的v-viewer实现。 正文 引入爬虫pom工具包 <dependency> <groupId>org.apache.httpcomponents</groupId> <art

厉害哥哥的博客 1119
上一篇: html中使用unicode编码
下一篇: jquery访问服务器
caststudy
博客等级 码龄19年 181粉丝 107原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值