本文介绍了随机森林的原理及优势，包括处理高维数据、无需特征选择、训练速度快和防止过拟合。接着讨论了期望最大化（EM）算法，一种参数估计方法，用于求解最大似然估计。接着阐述了HMM在自然语言处理中的应用，如汉语分词和词性标注，并概括了HMM的三大问题。最后探讨了LDA，一种主题模型，常用于文本分类和主题抽取，能解决矩阵稀疏问题并衡量文档相似性。
本篇简单介绍这些概念。
随机森林（Random Forest）是一种分类和回归算法，它包含了多个决策树，形成一个森林，随机森林的类别是所有决策树分类回归结果的众数决定。
由于它优点很多，适应比较广泛.
1、能够处理高维数据，不用做特征选择，自动选出那些特征重要。
2、训练速度快，分类精度高。
3、能检测到特征之间的相互影响。
4、不会产生过拟合。
期望最大化（Expectation-Maximization），也叫最大似然估计。它是一种参数估计方法。
基本思想是：参数的取值应该是使随机样本出现的概率最大。因此如果我们知道样样本的概率分布，就可以通过求使概率分布最大的参数值为最终取值。
参考文章1，已知100个男生的身高分布概率，当不知道他们的均值和方差，通过最大似然估计认为，均值和方差应该是使这个概率分布最大。
最大似然估计函数如下：
如果是连乘形式，可以求对数简化为相加形式：
求解可以是求导数为0，即牛顿法或者梯度下降法（计算机中使用）。
HMM，隐马尔科夫模型。
HMM在自然语言处理领域应用比
最低0.47元/天 解锁文章
扫一扫
2305
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
