Rookiekk

学习深度学习时遇见multinoulli分布，在此总结一下机器学习中常用的multinoulli分布与多项式分布之间的区别于关系，以便更好的理解其在机器学习和深度学习中的使用。首先介绍一下其他相关知识。Bernoulli分布 （两点分布）Bernoulli分布是单个二值随机变量的分布。它由单个参数控制，给出了随机变量等于1的概率。                        ...

学习深度学习时遇到二阶优化算法牛顿法，查阅了相关书籍进行记录。：函数的梯度向量:函数的Hessian矩阵，其第i行第j列的元素为.假设是二阶连续可微函数，。最速下降法因为迭代路线呈锯齿形，固收敛速度慢，仅是线性的。最速下降法本质使用线性函数去近似目标函数。要得到快速的算法，需要考虑对目标函数的高阶逼近。Newton法就是通过二次模型近似目标函数得到的。一、Newton法理论  ...

学习机器学习的时候有很多线性代数的知识，其中有一些矩阵向量求导的东西不是很熟悉，今天查了很久决定做一个总结。定义1.梯度（Gradient） [标量对列向量微分]设是一个变量为的标量函数，其中。那么定义对的梯度为:定义2. 海森矩阵（Hessian matrix）[海森矩阵是二阶梯度]设是一个变量为的二阶可微分的标量函数，其中。那么定义对的海森矩阵为:海森矩...

一、病态矩阵求解方程组时如果对数据进行较小的扰动，则得出的结果具有很大波动，这样的矩阵称为病态矩阵。病态矩阵是一种特殊矩阵。指条件数很大的非奇异矩阵。病态矩阵的逆和以其为系数矩阵的方程组的界对微小扰动十分敏感，对数值求解会带来很大困难。例如：现在有线性方程组： Ax = b， 解方程                                                ...

相关系数是最早由统计学家卡尔·皮尔逊设计的统计指标，是研究变量之间线性相关程度的量，一般用字母 r 表示。由于研究对象的不同，相关系数有多种定义方式，较为常用的是皮尔逊相关系数（PPMCC或PCCs）。在自然科学领域中，皮尔逊相关系数广泛用于度量两个变量之间的相关程度，其值介于-1与1之间。两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商： ...