qq184861643的博客

1. LDA解决了什么问题 通过观测到的文档和词样本，反推文档的主题分布，并求解该分布的参数。所有的文档主题分布（多项式分布）均由迪利克雷先验概率分布生成。 对一篇新来的文档，推断它的主题分布。 2. LDA模型中文档生成过程 首先确定要生成M篇文档，每篇文档有Nm个词，然后： 从超参数为α的迪利克雷分布中取样生成文档 i 的主题的多项式分布 θi 从 θi 中取样生成文档 i 中第 ...

从Gradient Descend到GBDT 集成学习之Boosting —— Gradient Boosting原理 Xgboost原理详解 XGBoost算法原理小结 从GBDT到Xgboost 相对于GBDT，Xgboost的优化主要体现在以下三个方面： 算法本身的优化： GBDT只支持决策树，Xgboost还支持使用其他弱分类器； GBDT使用损失函数的负梯度（一阶导数）作为分类器的...

1.随机森林算法 1.1 随机森林的生成 如果训练集大小为N，对于每棵树而言，随机且有放回地从训练集中的抽取n个训练样本（这种采样方式称为bootstrap sample方法），作为该树的训练集； 如果每个样本的特征维度为M，指定一个常数m<<M，随机地从M个特征中选取m个特征子集，每次树进行分裂时，从这m个特征中选择最优的； 每棵树都尽最大程度的生长，并且一般来说没有剪枝过程。 ...