Clear Special character

iteye_20344

于 2012-11-05 09:33:13 发布

阅读量187

点赞数

CC 4.0 BY-SA版权

分类专栏： JAVA

本文链接：https://blog.youkuaiyun.com/iteye_20344/article/details/82440093

JAVA 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了分词算法及关键词提取技术，通过使用IK分词器与自定义分词逻辑，实现文本的高效处理与关键信息抽取。重点探讨了如何通过正则表达式清理特殊字符，并对生成的关键词进行过滤与排序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >


	public static String[] analyzer(String string) {
		List<String> list = new ArrayList<String>();
		try {
			StringReader reader = new StringReader(string);
			IKSegmenter ik = new IKSegmenter(reader, true);
			Lexeme lexeme = null;
			while ((lexeme = ik.next()) != null) {
				list.add(lexeme.getLexemeText());
			}
		} catch (IOException e) {
			e.printStackTrace();
		}
		return list.toArray(new String[list.size()]);
	}

	public static String[] generate(String string) {
		List<String> list = new ArrayList<String>();
		string = clear_special_character(string);
		String[] tags = string.split("[,\\s]");
		for (String tag : tags) {
			tag = tag.trim();
			if (tag.length() > 0) {
				list.add(tag);
			}
		}
		return list.toArray(new String[list.size()]);
	}

	public static String clear_special_character(String string) {
		string = string.replaceAll("\\pP|\\pS", " ");
		string = string.replaceAll("\\s+", " ");
		return string;
	}