本文探讨了语言模型的评估标准，包括熵、相对熵和困惑度，并介绍了困惑度作为评估指标的优势和不足。同时，深入解析了n-gram模型，强调了阶数和平滑的重要性，讨论了其局限性，以及高阶问题和相似词问题。此外，还提到了其他类型的语言模型，如缓存LM、基于类的语言模型、结构化LM、决策树和随机森林LM、最大熵LM以及神经网络LM。
一、Evaluation
1、 熵 entropy
l 熵（entropy）又称自信息，self-information
描述一个随机变量的不确定性的数量，熵越大，不确定性越大，正确估计其值的可能性越小。越不确定的随机变量越需要大的信息量以确定其值。
p(x)表示x的分布概率
l 相对熵（relativeentropy）又称KL距离，Kullback-Leibler divergence
衡量相同事件空间里两个概率分布相对差距的测度，当p=q的时候，相对熵为0，当p和q差距变大时，交叉熵也变大。
p(x)和q(x)代表x的两种概率分布
l 交叉熵（crossentropy）
衡量估计模型和真实概率分布之间的差异
定义语言L=(Xi)~p(x)与其模型q的交叉熵为：
最低0.47元/天 解锁文章
扫一扫
1064
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
