u010995990的博客

我们先来了解下最小二乘的思想。**简单的来说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小。**这里的二乘指的是用平方来度量观测点与估计点之间的远近，最小则指的是参数的估计值要保证各个观测点与估计点之间的距离的平方和达到最小。一元线性回归假设我们的模型只有一维数据时，模型就是一条直线f(x)=ax+bf(x)=ax+bf(x)=ax+b，我们有mmm条训练数据，训练损失函数为误差平方和的平均数：L(a,b)=1m∑i=1m[(axi+b)−yi]2L(a,b) = \frac{1}{m

#! https://zhuanlan.zhihu.com/p/166385749SVM算法总结本文是看了几个博客后，写的总结笔记。SVM由线性分类开始给定一个训练样本集D={(x1,y1),(x2,y2),...,(xn,ym)},y∈{−1,1}D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_m)\}, y \in \{-1,1\}D={(x1​,y1​),(x2​,y2​),...,(xn​,ym​)},y∈{−1,1}.线性分类器基于训练样本DDD在二维空间中找到一个

当目标变量时分类变量时，常常使用Logistic Regression(LR）算法。例如：预测邮件是否为垃圾邮件（是垃圾邮件标记为1，否则为0）预测肿瘤是否为恶性的（是恶性的为1，否则为0）模型LR算法主要利用sigmoid函数，其图像如下：模型的输入是xi=(xi1,xi2,...,xim)x_i=(x^1_i,x^2_i,...,x^m_i)xi​=(xi1​,xi2​,...,xim​)，xix_ixi​是一个向量，其具体的计算方法如下：h(x)=11+e−z,z=θx+bh(x)

Jacobian矩阵和Hessian矩阵,以及牛顿法Jacobian矩阵在向量分析中，雅可比矩阵是一阶偏导数以一定方式排列成的矩阵，其行列式称为雅克比行列式。雅可比矩阵雅克比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此，雅克比矩阵类似于多元函数的导数假设F:Rn→RmF:R_n \rightarrow R_mF:Rn​→Rm​是一个从欧式nnn维空间转换到mmm维空间...

KKT条件KKT条件是非线性规划最佳解的必要条件，KKT条件将拉格朗日乘数法所处理的等式约束优化问题推广到不等式。等式约束优化问题给定一个目标函数f:Rn→Rf:R^n \rightarrow Rf:Rn→R，我们希望找到x∈Rnx \in R^nx∈Rn，在满足约束条件g(x)=0g(x)=0g(x)=0的前提下，使得f(x)有最小值，这个约束优化问题记为：min⁡f(x)s.t.g(x...

感知机原理感知机的原理及预备知识感知机是一个二分类的模型，它的输入是一个样本的特征向量，输出的是这个样本所属的类别，一般可以认为是一个二分类模型。感知机有一个假设默认成立，即认为数据集是线性可分的，因为感知机学习的目标就是寻找一个能够将训练集中正例和负例能够完全分开的超平面，注意这里只是找到一个能完全分离正负例的超平面，没有要求是最优的，所以感知机算法可以有多个解。这是由感知机算法的迭代过程...

拉格朗日对偶性在约束最优化的问题中，常常需要利用拉格朗日对偶性(Language duality)将原始问题转为对偶问题，通过解决对偶问题来得到原始问题的解。拉格朗日乘数法拉格朗日乘数法是用来求条件极值的，极值问题可以分为两类：求函数在给定区间上的极值，对自变量没有其他的要求，这种极值称为无条件极值。对自变量有一些附加的约束条件限制下的极值，称为条件极值比如给定椭球x2a2+y2b...