tianya111cy的专栏

准确率(Precision)和召回率(Recall) Precision = 正确切分出的词的数目/切分出的词的总数 Recall = 正确切分出的词的数目/应切分出的词的总数   综合性能指标F-measure Fβ = (β2 + 1)*Precision*Recall/(β2*Precision + Recall) β为权重因子，如果将准确率和召回率同等看待，取β = 1，就得到...

分类 1.复合词和派生词 2.略缩语（如“世博会（世界博览会）”、“奥运会（奥林匹克运动会）”） 3.专有名词（也称命名实体，子分类：人名、地名和机构名） 4.数字类复合词（数字和汉字构成，如日期、地址、时间等）   识别 1.新涌现的通用词或专业术语等可预期的未登录词 2.专有名词等不可预期的未登录词...

维特比算法(Viterbi) 隐马尔可夫模型(Hidden Markov model, HMM) 最大熵模型(Maximum Entropy, ME) 支持向量机(SVM) 线性链条件随机场模型(CRF) 最大间隔马尔可夫网络模型 遗传算法 N-gram模型 有监督机器学习   HMM属于产生式模型（基于联合概率分布），CRF和ME属于判别式模型（基于条件概率）  ...

中文分词 词性标注 命名实体识别 句法分析

关键词和关键句排名算法：加权无向图   the application of graphbased ranking algorithms to natural language texts consists of the following main steps: 1. Identify text units that best define the task at hand, and ad...

http://baike.baidu.com/view/1228847.htm

1.漏字 Eg: 林心如主演的倾世王妃 分词结果为：林如/nr 主演/v 的/u 倾/v 世/ng 王妃/n 漏掉了“心”字 解决办法：将PosTagger.java中personRecognize方法里的如下if语句直接注释掉 if (sn.getPos() < 4        && unknownDict.getFreq(sn.getWord(), sn.ge...

K-means