qq_42873479的博客

HMM——理论、实践隐马尔可夫 HMMHMM举例概率计算问题Baum-Welch算法预测算法（近似算法、Viterbi算法）隐马尔可夫 HMMHMM举例概率计算问题Baum-Welch算法预测算法（近似算法、Viterbi算法）

主题模型——理论、实践主题模型LDA（Latent Dirichlet Allocation）共轭先验分布主题模型LDA（Latent Dirichlet Allocation）共轭先验分布

贝叶斯网络——理论、实践贝叶斯网络基础知识贝叶斯网络朴素贝叶斯文本分类案例贝叶斯网络基础知识1.相对熵2.互信息3.信息增益4.概率公式贝叶斯网络1.一个简单的贝叶斯网络2.全连接贝叶斯网络3.一个正常的贝叶斯网络3.贝叶斯网络的形式化定义4.特殊的贝叶斯网络朴素贝叶斯1.朴素贝叶斯的假设2.朴素贝叶斯的推导3.高斯朴素贝叶斯Gaussian Naive Bayes4.多项式朴素贝叶斯 Multinomial Naive Bayes文本分类案例...

EM算法理论、实践EM算法最大似然估计Jensen不等式（f是凸函数）EM算法引入EM算法的提出从理论公式推导GMMEM算法最大似然估计【按照MLE的过程分析】【化简对数似然函数】【参数估计的结论】Jensen不等式（f是凸函数）EM算法引入【随机变量无法直接（完全）观测到】【建立目标函数】【第一步：估算数据来自哪个组份】【第二步：估计每个组份的参数】EM算法的提出【通过最大似然估计建立目标函数】、从理论公式推导GMM...

聚类理论、实践聚类聚类的定义相似度/距离计算方法总结聚类的基本思想K-means算法K-means缺点K-means聚类方法总结聚类的衡量指标层次聚类方法密度聚类方法聚类聚类的定义相似度/距离计算方法总结【余弦相似度和Pearson系数】聚类的基本思想K-means算法K-means缺点K-means是初值敏感的。K-means的公式化解释K-means++算法:(1)假设已经选取了n个初始聚类中心(0<n<K)，则在选取第n+1个聚类中心时：距离当前n个聚类

决策树、随机森林——理论、实践决策树决策树熵越大，不确定性越大，某件事情发生的概率为1，那么熵为0.从上到下建立一个熵不断减小的树

SVM理论、实践

提升、XGBoost理论、实践提升梯度提升决策树 GBDTAdaboost提升提升的概念：提升算法：提升算法推导：梯度近似：提升算法：梯度提升决策树 GBDT梯度提升决策树 GBDT :参数设置和正则化：衰减因子、降采样：GBDT总结：使用二阶导信息决策树的描述：正则项的定义：目标函数计算：继续化简：举例：构造决策树的结构：XGBoost小结：Adaboostboosting的思想：Adaboost：对于m = 1,2,…,MAdaboost：A

回归算法——理论、实践线性回归线性回归理论基础：最小二乘、正则化、过拟合梯度下降算法Logistic回归多分类：Softmax回归线性回归线性回归y = ax+byi=θTx(i)+ε(i)y_i = \theta^Tx^{(i)}+\varepsilon^{(i)}yi​=θTx(i)+ε(i)误差ε(i)(1≤i≤m)\varepsilon^{(i)}(1\leq i \leq m)ε(i)(1≤i≤m)是独立同分布的，服从均值为μ\muμ，方差为σ2\sigma^2σ2的高斯（正态）分布。最