heimu24的博客

什么是感知机？ 感知机是二类分类的线性分类模型，其输入为实例的特征空间，输出的为实例的类别，取+1和-1二值。 感知机学习的目标？ 求出将训练数据进行线性划分的分离超平面 怎么求？ 导入基于误分类的损失函数，利用梯度下降法对损失函数极小化，从而求得感知机模型。 文章目录感知机的定义损失函数随机梯度下降感知机的对偶形式总结代码实现 感知机的定义 线性方程： 对应的是特征空间中的一个超平面，...

线性可分支持向量机 定义函数间隔， 定义几何间隔 目标，几何间隔最大化？ 令函数间隔=1，将原问题转为凸二次规划问题 怎么求解凸二次规划呢？原问题不好求？ 所以，拉格朗日，得到对偶问题。求解了对偶问题，得到拉格朗日乘子，利用KKT，得到w,b 所以接下来的目标，求解对偶问题的最优化 怎么求呢？SMO 后来呢，遇到线性不可分的问题怎么办？加松弛变量 再后来，遇到非线性咋整？映射，将实例空间映射到线...

持续更新ing… 标准化/归一化

第一个核心点：精确一维搜索求步长 λ{\lambda }λ ? λk=arg⁡min⁡f(xk+λdk){\lambda _k} = \arg \min f({x^k} + \lambda {d^k})λk​=argminf(xk+λdk) 具体看附录的例题。 第二个核心点：搜索方向dk{d^k}dk？ 最速下降法/随机梯度下降 dk=−1∗∇f(xk){d^k} = - 1*\nabla ...

类偏斜情况：我们的训练集中有非常多的同一种类的实例，只有很少或者没有其他类的实例 ps：这里重点理解一下为什么查准率高的话查全率就低？ 例如，上面提到，为了提高查准率，可以使用更高的阈值，如0.7,0.9，这意味着我们只有具有很大把握（概率）的时候才预测为真，这样预测为真，实际为假（FP）的情况就减少了，看查准率公式，这样查准率就高了。同样，我们只有在具有很大把握（概率）的时候才预测为真，...