使用FudanNLP分词工具分词并移除停用词

doc_peter

于 2014-07-17 21:01:43 发布

阅读量3.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： NLP 文章标签： fudannlp 分词停用词 Java

本文链接：https://blog.youkuaiyun.com/doc_peter/article/details/37914389

本文介绍了在工作中使用FudanNLP进行中文文本分词并移除停用词的需求。原FudanNLP代码在停用词过滤上过于严格，需要调整以适应具体任务。同时，选择合适的停用词表和适时调整对于提高分词效果至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

所做工作需要对中文文本分词并移除停用词

/**
 * @function 使用两个字典进行分词,并移除停用词
 * @author Peter
 * @date 2014-07-17
 */


package fnlp.segment;

import java.util.List;

import edu.fudan.ml.types.Dictionary;
import edu.fudan.nlp.cn.tag.CWSTagger;
import edu.fudan.nlp.corpus.StopWords;
// import gnu.trove.set.hash.THashSet;

public class MultiDictSegment {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		
		String str = "健康咨询描述： 我怀第二个孩子的时候就血压高了，一直到孩子3,4岁吧才吃药。" +
				"但吃什么药血压都是在100-140.我今年做了个泌尿系肉。医生给我开了硝苯地平控释片。" +
				"我觉得吃了一段时间老是咳嗽，我想问一下我能还吃吗 ";
		
		try {
			// 添加单词到字典中
			/*String str1 = "波依定";
			String str2 = "厄贝沙坦氢氯吃噻嗪";
			THashSet<String> ths = new THashSet<String>();
			ths.add(str1);
			ths.add(str2);*/
			
			Dictionary dict = new Dictionary();
			// 添加两个字典文件
			dict.addFile("./models/dict.txt");
			d

最低0.47元/天解锁文章