利用htmlparser提取网页纯文本的例子

最新推荐文章于 2020-03-24 15:32:07 发布

alexgaoyihang

最新推荐文章于 2020-03-24 15:32:07 发布

阅读量930

点赞数

CC 4.0 BY-SA版权

分类专栏： java 文章标签： htmlparser HtmlParser java Java JAVA 提取网页纯文本

本文链接：https://blog.youkuaiyun.com/alexgaoyihang/article/details/8552536

java 专栏收录该内容

20 篇文章

订阅专栏

本文演示了如何使用htmlparser库从指定URL提取网页的纯文本内容，并通过解析节点来实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.htmlparser.Node;
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.util.NodeList;

/**
 * 标题:利用htmlparser提取网页纯文本的例子
 */
@SuppressWarnings("serial")
public class TestHTMLParser {
	public static void testHtml() {
		try {
			String sCurrentLine;
			String sTotalString;
			sCurrentLine = "";
			sTotalString = "";
			java.io.InputStream l_urlStream;
			java.net.URL l_url = new java.net.URL(
					"http://www.alexgaoyh.com/html/c7471ca9d5.html");
			java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url
					.openConnection();
			l_connection.connect();
			l_urlStream = l_connection.getInputStream();
			java.io.BufferedReader l_reader = new java.io.BufferedReader(
					new java.io.InputStreamReader(l_urlStream));
			while ((sCurrentLine = l_reader.readLine()) != null) {
				sTotalString += sCurrentLine;
			}
			String testText = extractText(sTotalString);
			System.out.println(testText);

		} catch (Exception e) {
			e.printStackTrace();
		}

	}

	public static String extractText(String inputHtml) throws Exception {
		StringBuffer text = new StringBuffer();
		Parser parser = Parser.createParser(new String(inputHtml.getBytes(),
				"UTF-8"), "UTF-8");
		// 遍历所有的节点
		NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {
			public boolean accept(Node node) {
				return true;
			}
		});

		// System.out.println(nodes.size()); //打印节点的数量
		for (int i = 0; i < nodes.size(); i++) {
			Node nodet = nodes.elementAt(i);
			// System.out.println(nodet.getText());
			text.append(new String(nodet.toPlainTextString().getBytes("GBK")));
		}
		return text.toString();
	}

	public static void main(String[] args) throws Exception {
		testHtml();
	}
}