weixin_61426225的博客

摘要： 贝叶斯推断通过贝叶斯公式将先验信息与样本信息结合，得到参数的后验分布。核心公式为$\pi(\theta|x_1,...,x_n) \propto p(x_1,...,x_n|\theta)\pi(\theta)$，但高维积分计算边缘似然困难。变分推断通过优化近似分布$q(z)$逼近真实后验，最大化证据下界（ELBO）替代直接计算。传统方法如CAVI手动推导，而深度生成模型中采用神经网络参数化$q_\phi(z|x)$，结合重参数化技巧优化ELBO。变分推断通过简化计算实现高效后验近似，但复杂模型仍需

本文介绍了Adam和AdamW优化算法及其相关概念。首先解释了指数加权平均(EMA)的原理，它是后续算法的基础。然后依次介绍了SGD、Momentum、RMSProp等优化方法的特点：SGD仅依赖当前梯度；Momentum引入梯度指数平均减少震荡；RMSProp通过梯度平方的指数平均自适应调整学习率。Adam结合了Momentum和RMSProp的优点，维护梯度和梯度的平方两个指数平均量。AdamW在此基础上增加了weight decay机制，防止参数过大提高泛化性。最后指出这些算法需要为每个参数维护两个额

权重衰减和L2正则化在优化神经网络参数时具有相似效果。权重衰减直接对参数进行缩放衰减，而L2正则化通过添加惩罚项间接限制参数大小。在使用SGD优化器时，两者在数学形式上是等价的，因为L2正则化的梯度计算会得到与权重衰减相同的更新公式。然而，当使用Adam、RMSProp等自适应优化器时，由于学习率的缩放机制，这两种方法会产生不同的优化效果。

聚类 VS 分类[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-08cI8jam-1691915535493)(https://img1.imgtp.com/2023/08/12/TLpVN5O2.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Puxawm50-1691915535494)(https://img1.imgtp.com/2023/08/12/HAO6YrvZ.png)]有监督学习 VS 无监督学习。

提到梯度下降我们知道梯度下降算法是很多机器学习算法、深度学习算法的基础。首先我们需要明确一些概念什么是梯度：梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。梯度的数学定义可以看这里。

为了将表格转化为一棵树，决策树需要找到最佳节点和最佳分支方法，对于分类数来说衡量最佳的方法是叫做不纯度，通常来说不纯度越低，决策树对训练集的拟合效果越好，所有的决策树算法都是将和不纯度相关的某个属性最优化，不管我们用那个算法，都是追求的与不纯度相关的指标最优化。这是用的最广泛的剪枝参数，在高维度低样本量时非常有效，决策树多生长一层对样本的需求量就会增加一倍，所以限制决策树的深度能够特别有效的限制过拟合，在集成算法中也非常常用，在实际使用过程中，建议我们从3开始尝试，看看拟合的效果再决定是否增加深度。

对于随机森林这个集成算法来说，它的基评估器就是决策树，决策树长成的森林就是随机森林也就是集成评估器。

tile()函数，tile是numpy模块中的一个函数，用于矩阵的复制，tile(A, reps), A表示我们要操作的矩阵，reps是我们复制的参数，可以是一个数也可以是一个矩阵(4, 2)，tile(A, (4, 2))表示将A矩阵的列复制4次，行复制两次。cmp是比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，此函数必须遵守的规则为，大于则返回1，小于则返回-1，等于则返回0。argsort()方法，对数组进行排序，这里返回的是排序后的下标这和C++中的sort()方法不同。