Tech Piece

本文介绍一下机器学习中的线性回归问题，线性回归问题是机器学习中常见的问题之一，相比较之后的其他算法，也是一种比较容易理解的算法。一、Linear Regression说到线性回归，自然要从其中的“回归”说起，回归应该算是一个统计学属于，其在某百科中定义如下：回归，研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。

回归，是一种连续模型，受噪声的影响较大，一般都是用来做预测的，但也有除外，比如本文要讲的Logistic回归就是用来做分类的。Logistic RegressLogistic一般用于二分类问题，不同于之前讲的线性回归，它是用一条直线来分割两种不同类别的样本。其函数形式为若令，则可以等价为这个函数也叫sigmoid函数。其函数图像如下

生成学习算法 高斯判别分析（Gaussian Discriminant analysis，GDA），与之前的线性回归和Logistic回归从方法上讲有很大的不同，GDA是一种生成学习算法（Generative Learning Algorithms），而之前的属于判别学习算法（Discriminative Learning Algorithms）。 它们的主要区别是：判别学习算