不二的博客

1. 结论 Let A∈Rn×mwithn>m,A∈Rn×mwithn>m, then matrix ATAATA is positive semidefinite, If rank(A)=m(i.e.Ahasfullrank),rank(A)=m(i.e.Ahasfullrank), then ATAATA is positive definite. 2. 证明 半正定的证明...

　在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T...

（一）归一化的作用 在机器学习领域中，不同评价指标（即特征向量中的不同特征就是所述的不同评价指标）往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。其中，最典型的就是数据的归一化处理。（可以参考学习：数据标准化/归一化） 简而...

1.什么是线性回归？   早在初中我们就学习过一次函数 ，它的一般形式我们应该还记得吧，就像是这样。这个一次函数实际上，就是一元一次函数。那时候学到的求解这个函数解析式的方法就是待定系数法 ，来确定其中k和b的值。而线性回归这个词在统计学习中，同样是确定一个一次函数解析式中的位置参数，在图像上来看就相当于，你想找一条直线，让他们尽量穿过已知（一般都是大量的）的数据点，或者让他们到直线距离...

在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函数的假设函数为： 对应的损失函数为： （这里的1/2是为了后面求导计算方便） 下图作为一个二维参数（，）组对应能量函数的可视化图： 下面我们来分别...

线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题，当数据集不是线性可分的时候，需要利用到核函数将数据集映射到高维空间。这样数据在高维空间中就线性可分。 高斯核函数（Gaussian kernel），也称径向基 (RBF) 函数，是常用的一种核函数。它可以将有限维数据映射到高维空间，我们来看一下高斯核函数的定义： ...