获取html页面的字符集编码方式

Java网页抓取与字符集识别

最新推荐文章于 2022-02-27 15:13:34 发布

原创最新推荐文章于 2022-02-27 15:13:34 发布 · 6.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#html #string #null #exception #url #header

JAVA技术专栏收录该内容

59 篇文章

订阅专栏

本文介绍了一个使用Java实现的网页抓取程序，该程序能有效识别目标网页的字符集编码，避免抓取过程中出现乱码问题。通过分析HTTP头部信息及HTML内容来确定字符集。

利用Java来抓取网页的时候，页面的字符集编码特别重要，弄错了的话很有可能抓到的是乱码。俺写的这个代码在一般情况下还是能够正确识别页面的charset的，只是效率有点低。

public String getCharset(String link) { String result = null; HttpURLConnection conn = null; try { URL url = new URL(link); conn = (HttpURLConnection)url.openConnection(); conn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"); conn.connect(); String contentType = conn.getContentType(); //在header里面找charset result = findCharset(contentType); //如果没找到的话，则一行一行的读入页面的html代码，从html代码中寻找 if(result == null){ BufferedReader reader = new BufferedReader(new InputStreamReader(conn.getInputStream())); String line = reader.readLine(); while(line != null) { if(line.contains("Content-Type")) { result = findCharset(line); break; } line = reader.readLine(); } } } catch (Exception e) { // TODO Auto-generated catch block e.printStackTrace(); } finally { conn.disconnect(); } return result; } //辅助函数 private String findCharset(String line) { System.out.println(line); int x = line.indexOf("charset="); int y = line.lastIndexOf('/"'); if(x<0) return null; else if(y>=0) return line.substring(x+8, y); else return line.substring(x+8); }