dingyplucky的博客

one hot represention：one hot，count，td-idf 缺点：长度和词典长度相同，稀疏性，无法计算相似度 one hot表示单词，一个和词典大小一样的向量，单词出现的位置为1，其余位置为0。向量中只有一个值为1. one hot表示句子，一个和词典大小一样的向量，句子中词出现的位置为1，其余位置为0。向量中1的个数小于等于句子中词的个数。 count表示句子，一个...

贝叶斯模型无法表示长句子，多个单词的条件下，某个词出现的概率极小，再经过链式法则连乘之后，概率更小。 针对这个问题，有马尔科夫假设： 马尔科夫假设：某个单词出现的概率只与它前面的一个或几个单词有关。 一阶马尔科夫模型对应二元语法模型bigram 二阶马尔科夫模型对应三元语法模型trigram 一元语法模型无法表示语句中单词之间的关系。一元模型下，正常语句的概率和改句子打乱后的概率相...

基于markov的语言模型，在遇到未登录词时，会将语法合理的句子概率计算为0.这是不合理的。 Add-one Smoothing （laplace smoothing） 分母上加一个V（词典大小）的一个理由，使概率之和为1. Add-K Smoothing 以perplexity为优化目标，计算最优的值 Interpolation平滑 核心思想：计算Trigram概率时同...