qq_16236875的博客

伯努利分布、二项分布、几何分布、超几何分布、泊松分布都是离散型随机变量。1 伯努利分布：就是常见的0-1 分布，各自的频率为1-p和p ，当x=0 或者x=1 的时候，：p(x) =期望： 方差：对于伯努利分布来说 ，期望2 二项分布：假设·n次独立实验，每次实验成功的概率为p，所有成功的次数X就是一个参数为n和p的二项随机变量，数据公式为：二项分布的每一次实...

1 SGD，Momentum，Adagradm，Adam 的原理SGD每一次迭代计算数据集的mini-batch 的梯度，然后对参数进行更新。Momentum 参考了物理中动量的概念，前几次的梯度也会参与到当前的计算，但是前几轮的梯度叠加在当前计算中会有一定的衰减。Adagrad 在训练的过程中可以自动变更学习的速率，设置一个全局的学习率，而实际的学习率与以往的参数模的平方成反比。...

1 矩阵正定性的判断，Hessian 矩阵正定性在梯度下降中的应用若矩阵所有特征值均不小于0，则判定为半正定，若矩阵所有特征值均大于0，则判定为正定，在判断优化算法的可行性时Hessian 矩阵的正定性起了很大的作用，若hessian 正定，则函数的二阶偏导恒大于0，函数的变化率处于递增状态，在牛顿法等梯度下降的方法中，Hessian 矩阵的正定性可以很容易的判断函数是否可收敛到局部或全局最优...