中文分词--隐马模型HMM

优快云只能显示一部分，所以文章移动到简书：点击打开链接

一 马尔科夫模型

• 每个状态只依赖之前有限个状态
    – N阶马尔科夫：依赖之前n个状态
    – 1阶马尔科夫（即《中文分词基础》中的二元模型）：仅仅依赖前一个状态
        • p(w1,w2,w3,……,wn) = p(w1)p(w2|w1)p(w3|w1,w2)……p(wn|w1,w2,……,wn-1)
        • =p(w1)p(w2|w1)p(w3|w2)……p(wn|wn-1)
        • 例如：
        • p(w1=今天，w2=我，w3=写，w4=了，w5=一个，w6=程序)

        • =p(w1=今天)p(w2=我|w1=今天)p(w3=写|w2=我)……p(w6=程序|w5=一个)

总结：

• 参数（重要的3个概念）

    – 状态，由数字表示，假设共有M个
    – 初始概率，由