YlcMeng的博客

百科：切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。"简 单 性 原 则（1）在机器学习中选择算法时，其含义是：在其他条件一样的情况下，选择简单的那个。（2）李航《统计学方法》一书中，在应用于模型选择时可以理解为：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。正则化就符合奥卡姆剃刀原理。...

听了吴恩达老师的课程之后，按照老师的方法画出神经网络中前向传播和反向传播的示意图，如有错误，请交流指正！其中，caches部分表示“缓存的信息”，以用于后面计算中的调用。每一步骤所需的数据已用不同颜色的框和箭头标出。...

描述SVM是一种二类分类模型，基本模型是定义在特征空间中的间隔最大的线性分类器。学习策略是间隔最大化。训练集线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；训练集近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；训练集线性不可分时，通过核技巧与软间隔最大化，学习一个非线性支持向量机；超平面附上链接，一篇讲解超平面的干货，讲的很好！！！http://www.sohu...

梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢。

摘自——李航老师《统计学习方法》附录在学习SVM时，感觉对偶性有点难以理解，在看了《统计学习方法》和一些博客后，写了这篇笔记。主要是对于含有不等式约束的情况下，可以应用KKT（库恩-塔克）条件的内容。以下附上一些博客链接：https://blog.youkuaiyun.com/xianlingmao/article/details/7919597https://www.cnblogs.com/xxrx...

摘自——吴恩达深度学习视频此算法适用于二分类问题一、logistic回归的输出函数其中， sigmoid函数的公式 如下：二、logistic回归的代价函数已知：logistic回归的输出函数：上标(i)表示第i个训练样本。单个样本的损失函数：在学习logistic回归的参数时，为了保证优化目标是凸优化，不会采用线性回归中的均方误差来表示损失函数。而是定义如下：m个样本...