抓取过程中出现url.openStream()异常

最新推荐文章于 2024-04-23 21:30:55 发布
最新推荐文章于 2024-04-23 21:30:55 发布 · 2.5k 阅读 · 0
文章标签：

#Java #SUN #.net #JDK

本文介绍了一个出现在jdk1.5_06之前的版本中的java.lang.IllegalArgumentException异常问题，并指出该问题是由于JDK版本BUG导致。解决方案为升级到最新版本的JDK。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

具体信息
java.lang.IllegalArgumentException
at sun.net.www.ParseUtil.decode(ParseUtil.java:179)
at sun.net.www.ParseUtil.toURI(ParseUtil.java:253)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:738)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:669)
…
是由于JDK版本BUG问题造成的，这个BUG只出现在jdk1.5_06之前版本，更新最新的就可以解决此问题
iteye_10647
关注
15、使用Google App Engine进行URL抓取与外部数据交互
cherry的博客
06-14 17
本文详细介绍了如何在Google App Engine（GAE）平台上进行URL抓取与外部数据交互。内容涵盖标准和低级URL抓取API的使用、GET和POST等HTTP请求处理、RESTful及SOAP服务调用、安全性考虑、JSON/XML/HTML等多种格式的数据解析、缓存策略设计以及结合任务队列优化性能的方法。通过这些技术，开发者可以构建高效、稳定且安全的Web应用，实现与外部资源的灵活通信与数据处理。
url.openStream报错javax.net.ssl.SSLHandshakeException解决(忽略ssl证书方式)
02-23
访问带https请求忽略ssl证书,避免url.openStream报错javax.net.ssl.SSLHandshakeException url = new URL(imageUrl); if("https".equalsIgnoreCase(url.getProtocol())){ SslUtils.ignoreSsl(); } //不添加工具类,下面一行会开始报错(不明白的可以邮件讨论下qlinchao@126.com) DataInputStream dataInputStream = new DataInputStream(url.openStream());
java openstream_URL的openStream()为什么在服务器上获取不了？
weixin_33785596的博客
02-21 1053
1.自定义的函数：(调用的是下面ImageIO的方法)public static void imgResize(String webPicPath,String dictFileName) throws Exception {Image img = ImageIO.read(new URL(webPicPath));//TODO:other}2.ImageIO.read(URL input)函数：...
关于加载网络图片时候 ,URL.openstream抛出异常的问题的解决
weixin_30725315的博客
07-05 644
昨天在写一个带图片的列表页的时候遇到了一些问题 在自定义的ListAdapter中使用如下代码加载网络图片导致抛出NetworkOnMainThreadException异常 URL picUrl = new URL("http://www.abc.com/abc.jpg");Bitmap pngBM = BitmapFactory.decodeStream(picUrl.openStream...
url().openStream 的超时问题处理
ahvw2317的博客
05-23 1593
1 InputStream is = new URL("http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=json&ip=" + ip").openStream(); 2 BufferedReader rd = new BufferedReader(InputStreamReader(is, Charset...
19. 5. 2. URLConnection.openStream比URL.openStream力量大得狠
omygege
10-22 182
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import java.net.URL...
利用MSXML2.XmlHttp和Adodb.Stream采集图片
10-30
1. **错误处理**：虽然示例代码中加入了简单的错误处理机制，但在实际应用中还需要更全面地考虑各种可能发生的异常情况，例如网络连接失败、URL无效等问题。 2. **安全性**：直接使用用户提供的URL可能会带来安全...
from flask import Flask, jsonify, request import requests from bs4 import BeautifulSoup import os from PIL import Image import io app = Flask(__name__) # 存储处理后图片的目录 IMAGE_DIR = r"D:\destop\图像格式转变后" if not os.path.exists(IMAGE_DIR): os.makedirs(IMAGE_DIR) # 下载图片 def download_image(url): try: response = requests.get(url, stream=True) response.raise_for_status() img = Image.open(response.raw) return img except Exception as e: print(f"下载图片 {url} 时出错: {e}") return None # 图片压缩 def compress_image(image, quality=80): buffer = io.BytesIO() image.save(buffer, format=image.format, quality=quality) buffer.seek(0) return buffer # 转换为 WebP 格式 def convert_to_webp(image): buffer = io.BytesIO() image.convert('RGB').save(buffer, format='WebP', quality=80) buffer.seek(0) return buffer # 处理图片 def process_image(url, index): img = download_image(url) if img: # 压缩图片 compressed_img = compress_image(img) img = Image.open(compressed_img) # 转换为 WebP 格式 webp_img = convert_to_webp(img) img = Image.open(webp_img) # 保存图片 save_path = os.path.join(IMAGE_DIR, f'image_{index}.webp') img.save(save_path) return save_path return None # 抓取图片并处理 @app.route('/crawl-images', methods=['POST']) def crawl_images(): data = request.get_json() url = data.get('url') if not url: return jsonify({"error": "缺少 URL 参数"}), 400 try: response = requests.get(url) response.raise_for_status() soup = BeautifulSoup(response.text, 'html.parser') images = soup.find_all('img') processed_images = [] for index, img in enumerate(images): img_url = img.get('src') if img_url: if not img_url.startswith('http'): base_url = url.rsplit('/', 1)[0] img_url = f"{base_url}/{img_url}" save_p
最新发布
03-19
还有，错误处理需要完善，比如下载失败、不支持的图片格式、处理过程中的异常等。 然后，我需要参考用户提供的引用内容。引用[1]提到图片压缩和格式转换，使用WebP格式减少体积，可以用image-webpack-loader，但...
java 抓取网页内容实现代码
09-04
2. **打开连接**：通过`url.openStream()`方法打开到该URL的连接，并获取输入流，以读取网页内容。 3. **BufferedReader**：使用`BufferedReader`从输入流中逐行读取内容，直到读取完所有行。 4. **处理代理**：...
python抓取网页图片
09-02
6. **异常处理**：在抓取过程中，可能会遇到各种问题，如网络连接错误、找不到图片等。因此，良好的异常处理机制至关重要。可以使用`try/except`块捕获和处理可能出现的错误，保证程序的健壮性。 7. **自动化脚本**...
URL的openStream报javax.net.ssl.SSLKeyException
ygj26's blog
02-21 3937
转自http://www.sofuck.org/?p=22 今天做支付宝的快捷支付接口，取防钓鱼时间戳时报错： javax.net.ssl.SSLKeyException: [Security:090504]Certificate chain received from mapi.alipay.com – 110.75.130.31 failed hostname veri
java编写程序，使用URL类的openStream（）方法实现读取URL数据并存储在本地文件中...
weixin_35755823的博客
12-24 1983
在 Java 中，可以使用 URL 类的 openStream() 方法来读取 URL 中的数据，并将其存储在本地文件中。 例如，下面的代码演示了如何从 URL 读取数据并将其存储在本地文件 "output.txt" 中： import java.io.*; import java.net.URL; public class Main { public static void main(St...
解决java.lang.IllegalArgumentException异常的正确解决方法
热门推荐
2301_79779756的博客
04-23 1万+
java.lang.IllegalArgumentException 是 Java 编程语言中的一个运行时异常，通常表示向方法传递了一个不合法或不适当的参数。当程序在运行时遇到此类异常，它会立即中断当前的执行流程，并抛出异常信息。理解这个异常的原因并学会如何正确解决，对于编写健壮的 Java 程序至关重要。
解决 url.openStream() 超时问题 time out
hery186的专栏
10-10 5636
一开始问题是 //1.获取url的输入流 dataInputStream DataInputStream dataInputStream=new DataInputStream(url.openStream()); //2.加一层BufferedInputStream BufferedInput...
时间转换时出现 java.lang.IllegalArgumentException 如何解决这个异常
来了就为晚--的博客
07-03 1万+
问题代码如下： //将String类型的时间戳转换成指定的格式的时间 private fun getTime(timeStr: String): String { var res = "" try { val formatTime = SimpleDateFormat("yyyy-MM-dd HH:mm:ss") res = formatTime.f...
java nio 下载网页_JavaNIO 下载网络文件保存本地报java.nio.file.AccessDeniedException:无权限操作...
weixin_33014989的博客
02-16 8709
JavaNIO 下载文件保存本地报java.nio.file.AccessDeniedException:无权限操作异常代码如下：/*** nio下载文件到本地并保存* @param url* @param filePath* @param fileName*/public static void downloadByNIO(String url, String filePath, String ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值