中文分词之过滤候选词以及去重

最新推荐文章于 2023-05-27 16:01:04 发布

残阙的歌

最新推荐文章于 2023-05-27 16:01:04 发布

阅读量4.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：搜索引擎

本文链接：https://blog.youkuaiyun.com/u010666884/article/details/50321527

本文介绍了中文分词过程中如何过滤单个词和特殊符号，以及使用list.contain()方法进行候选词去重的思路和实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中文分词之过滤候选词以及去重

一、过滤单个词，特殊符号

代码实现：

/**
	 * 过滤特殊词（单字动词，特殊符号）
	 * @param inputPath
	 * @param outPath
	 * @throws Exception 
	 */
	public static void filterWordFile2File(String inputFileStr,String outFileStr) throws Exception{
		File inputFile = new File(inputFileStr);
		File outFile = new File(outFileStr);
		if(!inputFile.exists()){
			throw new Exception("can not read the file");
		}
		if(!outFile.exists()){
			outFile.createNewFile();
		}
		FileWriter fw=null;
		BufferedReader br=null;
		try {
			
			 br= new BufferedReader(new FileReader(inputFile));
			String temp ="";
			StringBuilder sb  = new StringBuilder();
			while((temp = br.readLine()) !=null){
				String[] temps = temp.split(" ");
				if(temps.length == 1){ // 单词的情况
					String[] spilts