wuye999的博客

监督学习线性回归如何通过学习得到训练参数LMSleast squares regression model算法方式一批梯度下降法batch gradient descent方式二随机梯度下降法标准方程矩阵求导最小二乘法回顾概率解释局部加权线性回归分类和逻辑回归逻辑回归感知器学习算法另外一个最大化elltheta的算法牛顿法广义线性模型Generalized

生成学习算法至此，我们已经对给定xx后yy的条件概率p(y|x;θ)p(y|x;\theta)进行建模的学习算法。例如逻辑回归模型将p(y|x;θ)p(y|x;\theta)建模得到hθ(x)=g(θTx)h_\theta(x)=g(\theta^Tx)这里函数gg为sigmoid函数，在这个笔记中，我们将介绍另外一种学习算法。我们先来考虑这样一个分类问题：我们想区分大象(y=1y=1)和

支持向量机Support Vector Machine SVM 间隔直觉符号函数间隔以及几何间隔最优间隔分类器拉格朗日对偶最优间隔分类器核Kernels规则化以及不可分情况SMO算法坐标上升法SMO算法支持向量机（Support Vector Machine ，SVM ）SVMs通常被认为是最好的现成的学习算法。在叙述SVM之前我们先讨论一下边界和

偏差/方差 权衡当我们说道线性回归时，我们会考虑是使用简单点的模型y=θ0+θ1x" role="presentation" style="position: relative;">y=θ0+θ1xy=θ0+θ1xy=\theta_0 + \theta_1 x还是使用更加复杂的模型y=θ0+θ1x+θ2x2+⋯