Jsoup抓取Https出现unable to find valid certification path to requested target

最新推荐文章于 2024-01-23 09:39:06 发布
原创 最新推荐文章于 2024-01-23 09:39:06 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#https #网络协议 #http

文章介绍了两种方法来优化Java的SSL连接，包括使用`SSLContext`进行前置初始化以处理安全证书，以及利用`Jsoup`和`HttpUtil`抓取HTTPS网站。方法一是通过`SSLContext`确保安全连接，方法二是通过工具类抓取并解析HTML。

解决办法如下：

方法一：

  1. 增加前置初始化操作
static public void init() {
   
   
        try {
   
   
            SSLContext context = SSLContext.getInstance("TLS");
            context.init(null, new X509TrustManager[]{
   
   new X509TrustManager() {
   
   
                public void checkClientTrusted
最低0.47元/天 解锁文章
JSOUP 抓取HTTPS/HTTP网页，校验问题
shaochong047的博客
03-21 6783
      近日本人正在做一个小型的网络爬虫项目，用的就是经过分析，最终选择了jsoup来做页面分析工具，爬取数据。针对一般的http请求是不需要的校验的。但是https安全校验过总过不去。最后找到以下方法，终于成功。             让我们的站点信任所有站点，不需要引包，系统自带ssl证书校验，话不多数，贴代码。       /** * 信任任何站点，实现https页面的正常访问 ...
unable to find valid certification path to requested target 的问题
08-05
NULL 博文链接：https://hyl198611.iteye.com/blog/1988113
jsoup unable to find valid certification path to requested target
06-08 601
There is no nutrition in the blog content. After reading it, you will not only suffer from malnutrition, but also impotence. The blog content is all parallel goods. Those who are worried about being cheated should leave quickly.
unable to find valid certification path to requested target
林鹤霄
01-16 228
原贴地址：http://www.cnblogs.com/AloneSword/p/3244434.html http://blog.youkuaiyun.com/faye0412/article/details/6883879   1、用下面的代码可以获取公钥   /* * Copyright 2006 Sun Microsystems, Inc. All Rights Reserved. ...
安卓开发运行遇到的问题 Cause: unable to find valid certification path to requested target
super_优快云er的博客
01-30 373
具体可以参考博文 戳这里
记一次unable to find valid certification path to requested target异常排查
最新发布
kingwinstar的博客
01-23 2378
最近因为uat环境https过期，后边进行证书续期，发现通过浏览器访问可以正常访问，但是接口调用该地址，却出现网上的大部分针对java解决方案可以归类如下两种1、在jdk证书库里添加该域名的公钥证书该方案比较繁琐，此外我们的接口不仅是要提供给java系语言，还要提供给其他非java系语言调用，其次因为我们的证书并非自签发，而是真金白银买的，理论上不应该有问题。所以该方案一开始就没纳入我重点考虑范围内2、忽略证书认证，信任所有请求链接该方案其实也不可取，因为有安全隐患，不过该方案确实能解决问题。
请问jsoup报错javax.net.ssl.SSLHandshakeException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target该怎么解决
04-21
这个错误通常是由于没有正确配置证书引起的。...Jsoup.connect("your-url-here").get(); ``` 如果你需要更安全的解决方案，建议查找关于证书配置和安装的更多信息，然后正确地配置你的系统和代码来解决这个问题。
彻底解决：SunCertPathBuilderException: unable to find valid certification path to requested target错误的方法
wh445306
12-10 4480
导致原因：由于12306安全系统升级不再支持TLS 1.0,所以。以前jsoup直接可以请求的。注意添加这个：.sslSocketFactory(socketFactory())3：旧版本的Jsoup有一个参数：据说加上就行了。我现在用的版本没有，估计是取消了。2：也是绕过绕过HTTPS验证，跟第一种其实差不多。请求12306系统查票。调用：在请求代码前执行即可。调用：在请求代码中执行即可。
https请求报错unable to find valid certification path to requested target解决
热门推荐
m0_38051458的博客
08-10 4万+
在Java项目中请求HTTPS时，可能会遇到 "unable to find valid certification path to requested target" 错误。这个错误通常是由于SSL证书问题引起的。要解决此问题，可以尝试以下方法。
Jsoup+httpclient 模拟登陆和抓取
07-12
Jsoup+httpclient 模拟登陆和抓取页面 package com.app.html; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.FileReader; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.Writer; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import org.apache.commons.httpclient.NameValuePair; import org.apache.commons.httpclient.cookie.CookiePolicy; import org.apache.commons.httpclient.cookie.CookieSpec; import org.apache.commons.httpclient.methods.PostMethod; import org.apache.commons.httpclient.params.HttpMethodParams; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import com.app.comom.FileUtil; public class HttpClientHtml { private static final String SITE = "login.goodjobs.cn"; private static final int PORT = 80; private static final String loginAction = "/index.php/action/UserLogin"; private static final String forwardURL = "http://user.goodjobs.cn/dispatcher.php/module/Personal/?skip_fill=1"; private static final String toUrl = "d:\\test\\"; private static final String css = "http://user.goodjobs.cn/personal.css"; private static final String Img = "http://user.goodjobs.cn/images"; private static final String _JS = "http://user.goodjobs.cn/scripts/fValidate/fValidate.one.js"; /** * 模拟等录 * @param LOGON_SITE * @param LOGON_PORT * @param login_Action * @param params * @throws Exception */ private static HttpClient loginHtml(String LOGON_SITE, int LOGON_PORT,String login_Action,String ...params) throws Exception { HttpClient client = new HttpClient(); client.getHostConfiguration().setHost(LOGON_SITE, LOGON_PORT); // 模拟登录页面 PostMethod post = new PostMethod(login_Action); NameValuePair userName = new NameValuePair("memberName",params[0] ); NameValuePair password = new NameValuePair("password",params[1] ); post.setRequestBody(new NameValuePair[] { userName, password }); client.executeMethod(post); post.releaseConnection(); // 查看cookie信息 CookieSpec cookiespec = CookiePolicy.getDefaultSpec(); Cookie[] cookies = cookiespec.match(LOGON_SITE, LOGON_PORT, "/", false, client.getState().getCookies()); if (cookies != null) if (cookies.length == 0) { System.out.println("Cookies is not Exists "); } else { for (int i = 0; i < cookies.length; i++) { System.out.println(cookies[i].toString()); } } return client; } /** * 模拟等录 后获取所需要的页面 * @param client * @param newUrl * @throws Exception */ private static String createHtml(HttpClient client, String newUrl) throws Exception { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); String filePath = toUrl + format.format(new Date() )+ "_" + 1 + ".html"; PostMethod post = new PostMethod(newUrl); client.executeMethod(post); //设置编码 post.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "GBK"); String content= post.getResponseBodyAsString(); FileUtil.write(content, filePath); System.out.println("\n写入文件成功!"); post.releaseConnection(); return filePath; } /** * 解析html代码 * @param filePath * @param random * @return */ private static String JsoupFile(String filePath, int random) { SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd"); File infile = new File(filePath); String url = toUrl + format.format(new Date()) + "_new_" + random+ ".html"; try { File outFile = new File(url); Document doc = Jsoup.parse(infile, "GBK"); String html="<!DOCTYPE HTML PUBLIC '-//W3C//DTD HTML 4.01 Transitional//EN'>"; StringBuffer sb = new StringBuffer(); sb.append(html).append("\n"); sb.append("<html>").append("\n"); sb.append("<head>").append("\n"); sb.append("<title>欢迎使用新安人才网个人专区</title>").append("\n"); Elements meta = doc.getElementsByTag("meta"); sb.append(meta.toString()).append("\n"); ////////////////////////////body////////////////////////// Elements body = doc.getElementsByTag("body"); ////////////////////////////link////////////////////////// Elements links = doc.select("link");//对link标签有href的路径都作处理 for (Element link : links) { String hrefAttr = link.attr("href"); if (hrefAttr.contains("/personal.css")) { hrefAttr = hrefAttr.replace("/personal.css",css); Element hrefVal=link.attr("href", hrefAttr);//修改href的属性值 sb.append(hrefVal.toString()).append("\n"); } } ////////////////////////////script////////////////////////// Elements scripts = doc.select("script");//对script标签 for (Element js : scripts) { String jsrc = js.attr("src"); if (jsrc.contains("/fValidate.one.js")) { String oldJS="/scripts/fValidate/fValidate.one.js";//之前的css jsrc = jsrc.replace(oldJS,_JS); Element val=js.attr("src", jsrc);//修改href的属性值 sb.append(val.toString()).append("\n").append("</head>"); } } ////////////////////////////script////////////////////////// Elements tags = body.select("*");//对所有标签有src的路径都作处理 for (Element tag : tags) { String src = tag.attr("src"); if (src.contains("/images")) { src = src.replace("/images",Img); tag.attr("src", src);//修改src的属性值 } } sb.append(body.toString()); sb.append("</html>"); BufferedReader in = new BufferedReader(new FileReader(infile)); Writer out = new BufferedWriter(new OutputStreamWriter( new FileOutputStream(outFile), "gbk")); String content = sb.toString(); out.write(content); in.close(); System.out.println("页面已经爬完"); out.close(); } catch (IOException e) { e.printStackTrace(); } return url; } public static void main(String[] args) throws Exception { String [] params={"admin","admin123"}; HttpClient client = loginHtml(SITE, PORT, loginAction,params); // 访问所需的页面 String path=createHtml(client, forwardURL); System.out.println( JsoupFile(path,1)); } }
jsoup访问页面: PKIX path building failed
weixin_30951231的博客
03-21 400
在用jsoup访问页面时报错javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException:PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException:unable to find...
建立https链接的SLL验证证书失效问题
Inner Peace
10-14 8343
爬取网页遇到的目标站点证书不合法问题。 使用jsoup爬取解析网页时，出现了如下的异常情况。 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBu
HttpsURLConnection请求https，抛出javax.net.ssl.SSLException: hostname in certificate didn't match:
一杯苦芥的专栏
03-16 2887
解决办法： try { SSLContext sc = SSLContext.getInstance("TLS"); sc.init(null, new TrustManager[]{new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String aut
javax.net.ssl.SSLHandshakeException:(HTTPS绕过安全认证进行请求链接)
qq_41615095的博客
02-20 1521
1、问题： 在使用jsoup爬取数据时，碰到了使用https的网站，遇到报错:javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path validation failed: java.security.cert.CertPathValidatorException: validity check failed 2、解决 后自己在网上查了一些资料,找到相关解决代码: package com
Jsoup爬取HTTPS页面数据资源，并导入数据库（Java）
Odinpeng的博客
12-07 1655
java爬取页面数据，使用Jsoup爬取HTTPS网络资源及页面数据
Jsoup信任任何站点，实现https页面的正常访问
开心就好
03-25 7195
Jsoup爬虫爬取https的网站报错： javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPath ...
使用HttpClient发送Https请求时，出现异常PKIX path building failed: sun.security.provider.certpath.SunCertPathBuil
qq_2908411009的博客
08-25 2万+
使用HttpClient发送Https请求时，出现异常为： PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target 出现这个异常的原因为，客户端向服务器发送htt...
jsoup简单应用
weixin_33973609的博客
11-04 167
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值