Java实现https访问

最新推荐文章于 2025-06-29 11:18:39 发布

jiuson

最新推荐文章于 2025-06-29 11:18:39 发布

阅读量607

点赞数

CC 4.0 BY-SA版权

分类专栏： java

本文链接：https://blog.youkuaiyun.com/u011063151/article/details/70161625

java 专栏收录该内容

34 篇文章

订阅专栏

本文介绍了一款Java豆瓣电影爬虫，并分享了作者如何解决从HTTP到HTTPS协议转变导致的爬虫程序失效问题。通过调整代码，实现了对知乎网站HTTPS协议的支持。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：

在ImportNew上看文章的时候，偶遇一个Java豆瓣电影爬虫的文章，处于好奇就点开看了，里面记录的是楼主写这个小程序的详解。正好学习一下就从楼主的GitHub仓库中下载了源码。。。。。。

想要将这个小程序与之前仿写的一个爬虫小程序结合起来。之前的爬的是知乎网站上的信息，由于之前知乎的网站使用的是http协议，而现在知乎使用的是https协议，所以之前的程序就不能正常运行了，于是捣鼓了一下午，终于可以抓取页面信息了，现在将遇到的问题记录如下：

之前抓取知乎网页信息的代码片段（http）：

String result = "";

URL url = new URL（“网址”）;

URLConnection conn = url.openConnection();

conn.connection();

BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream, "utf-8"));

String line = "";

while((line = br.readLine() != null){

result += line;

}

新的网页信息抓取代码片段（https）：

String result = "";

URL url = new URL("网址");

HttpsURLConnection conn = (HttpsURLConnection)url.openConnection();

conn.setDoInput(true);

conn.setSSLSocketFactory(sslSocketFactory);

conn.setHostNameVerifier(new HostNameVerifier(){

public boolean verify(String hostName, SSLSession session){

return true;

}

});

conn.connect();

BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "utf-8"));

String line = "";

while((line = br.readLine()) != null){

result += line;

}