见见大魔王

个人原创笔记，转载请附上链接。本文接上文线性可分支持向量机+硬间隔最大化（手写笔记），推导了软间隔最大化。“硬间隔”，就是存在分隔超平面完全将正负样本分开。 “软间隔”，就是数据样本不是实际的线性可分，而是近似线性可分。为什么要引入软间隔最大化？如果数据加入了少数噪声点，而模型为了迁就这几个噪声点改变决策平面，即使让数据仍然线性可分，但是边际会大大缩小，这样模型的准确率虽然提高了，...

个人原创笔记，转载请附上链接！本文只推导了硬间隔最大化的求解。推导过程首先写出我们需要求解的最优化问题。写出凸优化问题的对偶问题，即拉格朗日极大极小问题。使用KKT条件求解。...

个人原创笔记，转载请附上本文链接。拉格朗日对偶性其实也没有那么难理解，在我梳理过后你会发现也就是那一回事罢了。围绕着拉格朗日对偶性探讨的整个流程下来，实际上牵扯到 三个问题：原始问题，我们记作 P。 拉格朗日函数的极小极大问题，我们记作 P'。（后来会发现 极小极大问题 与 原始问题 是等价的） 拉格朗日函数的极大极小问题，我们记作 D。以及需要注意的 p* 与 d* 之间的关...

最近在复习机器学习，正好整理一下笔记，我看博客很多都参差不齐，这里我参考了很多博客，并且加上自己的思路整理了一下这几个小知识点。并附上我认为比较完整且帮助较大的博客链接。我先简单的梳理一下（如果你懒到不想看下面笔记的话）：定义什么的我不想再提了，网上都是一大把。记住并且区分他们最好的方式就是理解他们含义（也就是针对什么去讨论的）。精度（Accuracy）和错误率（Error ra...

推导真的是一件辛苦的事情。手工推导，如有错误欢迎指正！马上修改！

个人原创笔记，若有错误，请大佬们指正！

别弄错了，Logistic回归是分类模型。什么是分类问题？在学习线性回归的时候，我们已经理解了什么是回归，回归就是确定变量之间相互依赖的定量关系的统计学方法。那么同样，在开始学习Logistic回归模型前，我们先来看看什么是分类问题。分类相比于回归要好理解得多了，我们按照所选取的样本的属性、特征对数据集的样本进行类别的划分，这就是分类。这里使用二分类举个例子。上图对四个样本...

个人的原创笔记，欢迎dalao们指正错误！什么是正则化？Regularization，中文翻译过来可以称为正则化，或者是规范化。什么是规则？闭卷考试中不能查书，这就是规则，一个限制。同理，在这里，规则化就是说给损失函数加上一些限制，通过这种规则去规范他们再接下来的循环迭代中，不要自我膨胀。为什么需要正则化？我们首先回顾一下模型训练的过程，模型参数的训练实际上就是一个不断迭代，寻找到...

什么是线性回归？线性回归就是变量之间的相互依赖关系可以通过一个线性方程表达。

特征缩放是什么？特征缩放：将不同特征的值量化到同一区间的方法。简单来说就是将原本由于单位不同而导致数值范围上存在较大差异的特征放到同一个数值区间内。为什么？特征的数值范围差异较大，在采用欧式距离来衡量两个特征间的距离时，就会导致最终距离仅取决于取值范围跨度最大的特征。举个例子。假设我们要从身高特征和年龄特征来区分两个人，其中我们根据常识可以知道年龄的取值范围为 [1, 10...