ICTCLAS初步分词之原子分词

最新推荐文章于 2025-08-13 15:51:19 发布

翻译最新推荐文章于 2025-08-13 15:51:19 发布 · 892 阅读

本文详细介绍了一种名为原子分词的方法，该方法通过将输入文本分解为最小单位（原子），然后根据特定规则组合成词，从而实现高效准确的中文分词。文章首先介绍了原子分词的基本概念，并逐步解释了原子切分的过程，包括代码实现。

再说到原子分词前，我们先来说下什么是原子。我举个例子就一目了然了：始##始他说的确实在理末##末-->始##始他说的确实在理末##末，其中始##始是开始的标志。ICTCLAS分词大约分为：

1）初步分词；

2）词性标注；

3）人名、地名识别；

4）重新分词；

5）重新词性标注这五步。

就第一步分词而言，又细分成：1）原子切分；2）找出原子之间所有可能的组词方案；3）N-最短路径中文词语粗分三步。

现在来学习下原子切分：

1）：就“三星SHX-123型号的手机”而言，原子切分第一步我们就叫它原子分隔处理，处理后的结果：三星 S H X - 1 2 3 型号的手机

代码参考如下：

/**
	 * 对字符串进行原子分隔,比如:解放军第101医院----解 放 军 第 1 0 1 医 院
	 * 
	 * @param str
	 * @return
	 */
	public static String[] atomSplit(String str) {
		String[] result = null;
		if (str != null) {
			result = new String[str.length()];
			String temp = str + " ";
			for (int i = 0; i < temp.length() - 1; i++) {
				result[i] = temp.substring(i, i + 1);
			}
		}

		return result;
	}

2）：对第一步原子分隔的结果进行进一步处理经过这一步第一步中“三星 S H X - 1 2 3 型号的手机 ”就变成了三星 SHX-123 型号的手机

处理过程大致是对result 数组进行遍历，遍历中会分为以下几种情况：

*如果是汉子，分隔符等则作为一个单独原子

*如果是数字、字母、单字节符号则把相邻的作为一个原子如：SHX-123

*其中还有一种特殊的情况如“。”

核心代码：

for (int i = index; i < ss.length; i++) {
				if (Utility.SENTENCE_END.equals(str.substring(i))) {
					Atom atom = new Atom();
					atom.setWord(Utility.SENTENCE_END);
					atom.setLen(Utility.SENTENCE_END.length());
					atom.setPos(Utility.CT_SENTENCE_END);
					result.add(atom);
					break;
				}

				String s = ss[i];
				sAtom += s;
				int curType = Utility.charType(s);
				if (".".equals(s)
						&& (i + 1 < ss.length && (Utility.charType(ss[i + 1]) == Utility.CT_NUM || GFString
								.isNumeric(ss[i+1]))))
					curType = Utility.CT_NUM;

				// 如果是汉字、分隔符等
				if (curType == Utility.CT_CHINESE || curType == Utility.CT_INDEX || curType == Utility.CT_DELIMITER
						|| curType == Utility.CT_OTHER) {

					Atom atom = new Atom();
					atom.setWord(s);
					atom.setLen(s.length());
					atom.setPos(curType);
					result.add(atom);
					sAtom = "";
				}
				// 如果是数字、字母、单字节符号，则把相邻的这些做为一个原子。比如：三星SHX-123型号的手机，则其中的SHX-123就是一个原子
				else {
					int nextType = 255;// 下一个字符的类型
					if (i < ss.length - 1)
						nextType = Utility.charType(ss[i + 1]);
					if (nextType != curType || i == ss.length - 1) {
						Atom atom = new Atom();
						atom.setWord(sAtom);
						atom.setLen(sAtom.length());
						atom.setPos(curType);
						result.add(atom);
						sAtom = "";
					}
				}
			}

如果想下载代码的话http://ishare.iask.sina.com.cn/download/explain.php?fileid=12821600

如果想进一步学习的话也可以看看http://www.cnblogs.com/zhenyulu/articles/668035.html