自然语言处理-中文分词原理

1.中文分词原理介绍

1.1中文分词概述：
中文分词：将一个汉字序列分成一个一个的单独的词。
分词：将连续的字序列按照一定的规范重新组合成词序列的过程。
1.2中文分词方法：
一般有以下三类：基于词典匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
1.2.1 基于词典（字符串匹配、机械分词法）匹配的分词方法
按照一定的策略将待分析的汉字串与一个机器词典进行词条匹配，若在词典中找到某个字符串，则匹配成功。
按照扫描方向不同，字符串匹配分词方法可以分为正向匹配和逆向匹配；
（1）最大正向匹配法（MM，MaximumMatching Method）
假定分词词典中的最长词有i个汉字字符，用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。
①若字典中存在这样的一个i字词，则匹配成功，匹配成功字段被作为一个词切分出来；
②若词典中找不到这样一个i字词，则匹配失败，将匹配字段中的最后一个字去掉；
③对剩下的字符串进行重新匹配处理，重复①②过程，直到切分出所有词为止。
（2）逆向最大匹配法（ReverseMaximum Matching Method）
RMM法基本原理与MM法相同，不同的是分词切分的方向与MM法相反，而且使用的分词辞典不同；
逆向最大匹配法从被处理文档的末端开始匹配扫描，每次取最末端的2i个字符（i字字串）作