中文分词（mmseg4j）

最新推荐文章于 2025-09-12 15:58:40 发布

「已注销」

最新推荐文章于 2025-09-12 15:58:40 发布

阅读量68

点赞数

CC 4.0 BY-SA版权

文章标签： python java c/c++

原文链接：https://my.oschina.net/u/1757446/blog/289966

本文展示了如何使用mmseg4j库对给定文本进行分词处理，包括初始化分词器、读取文本以及遍历分词结果。重点介绍了分词过程及其在实际应用中的意义。

2019独角兽企业重金招聘Python工程师标准>>>

package com.leixinhui.test;

import java.io.IOException;
import java.io.Reader;
import java.io.StringReader;

import com.chenlb.mmseg4j.ComplexSeg;
import com.chenlb.mmseg4j.Dictionary;
import com.chenlb.mmseg4j.MMSeg;
import com.chenlb.mmseg4j.Seg;
import com.chenlb.mmseg4j.Word;

public class Test {

	/**
	 * @param args
	 */
	public static void main(String[] args) {
		Reader reader = null;
		Dictionary dic = null;
		Seg seg = null;
		MMSeg mmSeg = null;
		Word word = null;
		
		reader = new StringReader("我不做C语言程序已经有一段时间了。三聚氰胺、量规等词汇都是专业术语。");
		dic = Dictionary.getInstance();
		seg = new ComplexSeg(dic);
		mmSeg = new MMSeg(reader, seg);
		
		try {
			while(null != (word=mmSeg.next())){
				System.out.println(word.getString());
			}
		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			try {
				if(null != reader) reader.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
	}

}

备注：使用mmseg4j-1.8.5

转载于:https://my.oschina.net/u/1757446/blog/289966