抓取过程中出现url.openStream()异常

最新推荐文章于 2025-06-14 15:12:41 发布
最新推荐文章于 2025-06-14 15:12:41 发布 · 2.5k 阅读 · 0
文章标签：

#Java #SUN #.net #JDK

本文介绍了一个出现在jdk1.5_06之前的版本中的java.lang.IllegalArgumentException异常问题，并指出该问题是由于JDK版本BUG导致。解决方案为升级到最新版本的JDK。
具体信息
java.lang.IllegalArgumentException
at sun.net.www.ParseUtil.decode(ParseUtil.java:179)
at sun.net.www.ParseUtil.toURI(ParseUtil.java:253)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:738)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:669)
…
是由于JDK版本BUG问题造成的，这个BUG只出现在jdk1.5_06之前版本，更新最新的就可以解决此问题
iteye_10647
关注
url.openStream报错javax.net.ssl.SSLHandshakeException解决(忽略ssl证书方式)
02-23
访问带https请求忽略ssl证书,避免url.openStream报错javax.net.ssl.SSLHandshakeException url = new URL(imageUrl); if("https".equalsIgnoreCase(url.getProtocol())){ SslUtils.ignoreSsl(); } //不添加工具类,下面一行会开始报错(不明白的可以邮件讨论下qlinchao@126.com) DataInputStream dataInputStream = new DataInputStream(url.openStream());
利用MSXML2.XmlHttp和Adodb.Stream采集图片
10-30
1. **错误处理**：虽然示例代码中加入了简单的错误处理机制，但在实际应用中还需要更全面地考虑各种可能发生的异常情况，例如网络连接失败、URL无效等问题。 2. **安全性**：直接使用用户提供的URL可能会带来安全...
java openstream_URL的openStream()为什么在服务器上获取不了？
weixin_33785596的博客
02-21 1075
1.自定义的函数：(调用的是下面ImageIO的方法)public static void imgResize(String webPicPath,String dictFileName) throws Exception {Image img = ImageIO.read(new URL(webPicPath));//TODO:other}2.ImageIO.read(URL input)函数：...
关于加载网络图片时候 ,URL.openstream抛出异常的问题的解决
weixin_30725315的博客
07-05 657
昨天在写一个带图片的列表页的时候遇到了一些问题 在自定义的ListAdapter中使用如下代码加载网络图片导致抛出NetworkOnMainThreadException异常 URL picUrl = new URL("http://www.abc.com/abc.jpg");Bitmap pngBM = BitmapFactory.decodeStream(picUrl.openStream...
url().openStream 的超时问题处理
ahvw2317的博客
05-23 1625
1 InputStream is = new URL("http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=json&ip=" + ip").openStream(); 2 BufferedReader rd = new BufferedReader(InputStreamReader(is, Charset...
19. 5. 2. URLConnection.openStream比URL.openStream力量大得狠
omygege
10-22 196
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.net.URL...
15、使用Google App Engine进行URL抓取与外部数据交互
最新发布
cherry的博客
06-14 38
本文详细介绍了如何在Google App Engine（GAE）平台上进行URL抓取与外部数据交互。内容涵盖标准和低级URL抓取API的使用、GET和POST等HTTP请求处理、RESTful及SOAP服务调用、安全性考虑、JSON/XML/HTML等多种格式的数据解析、缓存策略设计以及结合任务队列优化性能的方法。通过这些技术，开发者可以构建高效、稳定且安全的Web应用，实现与外部资源的灵活通信与数据处理。
from flask import Flask, jsonify, request import requests from bs4 import BeautifulSoup import os from PIL import Image import io app = Flask(__name__) # 存储处理后图片的目录 IMAGE_DIR = r"D:\destop\图像格式转变后" if not os.path.exists(IMAGE_DIR): os.makedirs(IMAGE_DIR) # 下载图片 def download_image(url): try: response = requests.get(url, stream=True) response.raise_for_status() img = Image.open(response.raw) return img except Exception as e: print(f"下载图片 {url} 时出错: {e}") return None # 图片压缩 def compress_image(image, quality=80): buffer = io.BytesIO() image.save(buffer, format=image.format, quality=quality) buffer.seek(0) return buffer # 转换为 WebP 格式 def convert_to_webp(image): buffer = io.BytesIO() image.convert('RGB').save(buffer, format='WebP', quality=80) buffer.seek(0) return buffer # 处理图片 def process_image(url, index): img = download_image(url) if img: # 压缩图片 compressed_img = compress_image(img) img = Image.open(compressed_img) # 转换为 WebP 格式 webp_img = convert_to_webp(img) img = Image.open(webp_img) # 保存图片 save_path = os.path.join(IMAGE_DIR, f'image_{index}.webp') img.save(save_path) return save_path return None # 抓取图片并处理 @app.route('/crawl-images', methods=['POST']) def crawl_images(): data = request.get_json() url = data.get('url') if not url: return jsonify({"error": "缺少 URL 参数"}), 400 try: response = requests.get(url) response.raise_for_status() soup = BeautifulSoup(response.text, 'html.parser') images = soup.find_all('img') processed_images = [] for index, img in enumerate(images): img_url = img.get('src') if img_url: if not img_url.startswith('http'): base_url = url.rsplit('/', 1)[0] img_url = f"{base_url}/{img_url}" save_p
03-19
还有，错误处理需要完善，比如下载失败、不支持的图片格式、处理过程中的异常等。 然后，我需要参考用户提供的引用内容。引用[1]提到图片压缩和格式转换，使用WebP格式减少体积，可以用image-webpack-loader，但...
java 抓取网页内容实现代码
09-04
2. **打开连接**：通过`url.openStream()`方法打开到该URL的连接，并获取输入流，以读取网页内容。 3. **BufferedReader**：使用`BufferedReader`从输入流中逐行读取内容，直到读取完所有行。 4. **处理代理**：...
python抓取网页图片
09-02
6. **异常处理**：在抓取过程中，可能会遇到各种问题，如网络连接错误、找不到图片等。因此，良好的异常处理机制至关重要。可以使用`try/except`块捕获和处理可能出现的错误，保证程序的健壮性。 7. **自动化脚本**...
JSP文件中读取远程数据及url.openStream()不能识别中文报错
blog
12-18 796
这里空格被转换成了%20，而以上程序中的输出为+。若要不报错，需要在程序中转换后再把+替换为%20即可。如果将java中的地址换成转码后的请求网址，则不会出现异常（这里异常出现在含有空格的下一行上）；
java url 验证失败_如何验证URL在Java 1.6中是否有效？
weixin_42469706的博客
02-16 611
我的应用程序处理用户手动输入的URL.我发现一些格式错误的URL(如’http：/ not-valid’)导致在打开连接时抛出NullPointerException.正如我从this Java bug report那里了解到的那样,这个问题是众所周知的,不会被修复.建议使用java.net.URI,这是“更符合RFC 2396的”.问题是：如何使用URI来解决问题？我唯一能用URI做的就是用它来...
java编写程序，使用URL类的openStream（）方法实现读取URL数据并存储在本地文件中...
weixin_35755823的博客
12-24 2020
在 Java 中，可以使用 URL 类的 openStream() 方法来读取 URL 中的数据，并将其存储在本地文件中。 例如，下面的代码演示了如何从 URL 读取数据并将其存储在本地文件 "output.txt" 中： import java.io.*; import java.net.URL; public class Main { public static void main(St...
URL的openStream报javax.net.ssl.SSLKeyException
ygj26's blog
02-21 3954
转自http://www.sofuck.org/?p=22 今天做支付宝的快捷支付接口，取防钓鱼时间戳时报错： javax.net.ssl.SSLKeyException: [Security:090504]Certificate chain received from mapi.alipay.com – 110.75.130.31 failed hostname veri
Java后端使用XWPFDocument生成word文档,踩坑
weixin_42960380的博客
11-28 4783
就可以解决找不到方法:问题 如果没报错 ( 就把改依赖忽略),环境 纯后端, java, spring项目 maven管理.
SSRF漏洞JAVA解决方案
柳落青
09-16 4750
SSRF(Server-side Request Forge, 服务端请求伪造)。由攻击者构造的攻击链接传给服务端执行造成的漏洞，一般用来在外网探测或攻击内网服务。
maven编译时javadoc报错java.lang.IllegalArgumentException
馒 的技术空间
11-26 3988
使用IDEA编译fabric java sdk时，总是在构建javadoc的时候报错：Exit code: 1 - java.lang.IllegalArgumentException 　　 at sun.net.www.ParseUtil.decode(ParseUtil.java:202) 在网上看了好多帖子，首先尝试可能是编译问题，因为cmd输出中文乱码。方法有以下几个： 1、如下图在file-》settings里进行配置 2、javadoc tool命令配置-encoding UTF-8
解决java.lang.IllegalArgumentException异常的正确解决方法
热门推荐
2301_79779756的博客
04-23 2万+
java.lang.IllegalArgumentException 是 Java 编程语言中的一个运行时异常，通常表示向方法传递了一个不合法或不适当的参数。当程序在运行时遇到此类异常，它会立即中断当前的执行流程，并抛出异常信息。理解这个异常的原因并学会如何正确解决，对于编写健壮的 Java 程序至关重要。
使用HTMLParser抓取网页中文文档示例
首先，创建一个`URL`对象并尝试打开与之连接的网络流（`openStream()`），接着用`BufferedReader`逐行读取HTML内容，每一行数据都被添加到`StringBuffer`（`sb`）中。这个缓冲器的作用是存储和组织读取的数据，便于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值