Java下载网页代码 & 判断网页是否被百度收录

最新推荐文章于 2021-03-15 17:52:22 发布

原创最新推荐文章于 2021-03-15 17:52:22 发布 · 724 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #string #encoding #url #exception #import

Java 专栏收录该内容

2 篇文章

订阅专栏

本文介绍了一个用于下载指定网页源代码的方法，并提供了一个简单实用的代码示例。同时，文章还介绍了如何判断一个网页是否已被百度收录，通过分析特定的网页内容来实现这一目标。

下载网页代码：

* 输入：要下载的网页URL，该网页编码

* 输出：被下载网页的源代码内容

* 需加载：import java.io.*; import java.net.*;

转载的，自己也不知道具体是虾米方法实现的

public static String getHTML(String pageURL, String encoding) { StringBuilder pageHTML = new StringBuilder(); try { URL url = new URL(pageURL); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.setRequestProperty("User-Agent", "MSIE 7.0"); BufferedReader br = new BufferedReader(new InputStreamReader(connection.getInputStream(), encoding)); String line = null; while ((line = br.readLine()) != null) { pageHTML.append(line); pageHTML.append("/r/n"); } connection.disconnect(); } catch (Exception e) { e.printStackTrace(); } return pageHTML.toString(); }

判断网页是否被百度收录：

* 输入：要判断的SERP的内容

* 输出：网页是否被收录

public static boolean ifIndexed(String content) { boolean isIndexed = false; int pos = 0; int pos_2 = 0; pos = content.indexOf("抱歉，没有找到该URL，您可以直接访问"); //没找到URL，但有相关页面 pos_2 = content.indexOf("抱歉，没有找到与"); //没找到任何信息 if (pos==-1 && pos_2==-1) isIndexed = true; return isIndexed; }