qq_30776035的博客

SVM，go~硬间隔优化目标KKT 条件对偶问题强对偶条件构造对偶问题凸优化问题硬间隔优化目标能将所有样本点正确分类的几何间距最大的超平面。argmaxw,bγs.t.yi(wT∣∣w∣∣xi+b∣∣w∣∣)≥γ,∀i\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac...

凸优化定义&充要条件凸优化定义&充要条件凸优化方法参考资料：简明详述最小二乘直接对参数求导=0，求出解析解优点：没有超参数、快缺点：如果样本量很大，那么求逆操作复杂度比较高梯度下降沿一阶导相反方向更新牛顿迭代法牛顿迭代法可以通过迭代逼近f(x）=0的解，我们使用这个方法来计算导数=0的解。优点：引入二阶导信息，更快缺点：Hessian矩阵求逆...

k-means:

Scenario 训练场景 由拿到的数据决定task 任务类型 由想得到的输出决定method 所选择的function set只是specialize了Classifacaiton 的具体分类，但是每个senerio 都包含这些task, 每个task 都包含这些method。...

概率分类模型SVMSVM的目标就是要希望找到距离分割超平面最近的点，让它们距离超平面距离尽可能大，这个距离被称为间隔(margin)，几何间隔

梯度下降定义梯度：函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。说人话！ 梯度的方向是函数变化速度最快的方向BP backpropagation用来加速gradient decient, 使用链式法则常用BP 算法 SGD,ADAM…极值点、驻点、鞍点、拐点极值点：函数从递增变换到递减，或者从递减变换到递增的点，不一定可导驻...