机器学习-Logistic回归与线性回归的理解

今下午开始脑子一直懵，对于刚入机器几天的小渣渣来说，内容越来越难了，学的有些吃力，并且概率论类的东西由于某些原因没能好好学，导致现在看的很费劲。

折腾了一下午一半天，好好梳理了线性回归和Logistic回归，按自己的理解整理一下。

 

首先，回归就是使用一条直线，对已知点进行拟合（该线成为最佳拟合直线），得到这条直线，通常都是使用梯度上升或者梯度下降的方法求出参数（这里只是差距一个负号，本质一样）

 

 

线性回归：

线性回归模型是预测连续输出，如下边例子，求一条最佳拟合直线。

所求函数：

  

代价函数：

（函数的意思为每个点的纵坐标到拟合直线的距离差的平方的加和，再乘前边的1/(2*m)）

我们可以画出代价函数的图像（类似这样，因为m不确定没法知道具体值），当为1时，代价为0，所以0就是要求的值：

所以可以画出最佳拟合直线为：

 

Logistic回归：

现在的二元分类问题是预测一个离散的输出，只关心有无，需要选取一个阈值，超过这个阈值就是y=1y=1，低于这个阈值就是y=0y=0，因此一般选取Sigmoid函数，我们可以设置h(x)>=0.5时，设置h(x)对应值为1，h(x)<0.5时，设置h(x)对应值为0，可以将数据分为0和1两个类，其中当h(x)>=0.5时，x>=0，当h(x)<0.5时，x<0。

Sigmoid函数对应图像为：

所求函数1：

假设我们通过代价函数找到了分别为-3，1，1，则要想h(x)=1只需要-3+x1+x2>=0，求得x1+x2>=3，得出最佳拟合线：

所求函数2：

假设我们通过代价函数找到了分别为-1，0，0，1，1，则要想h(x)=1只需要-1+x1^2+x2^2>=0，求得x1^2+x2^2>=1，得出最佳拟合线：

 

至于课本中的例子，我们的所求函数为：

代价函数（吴恩达老师讲的梯度下降方法，前边有负号，课本上是梯度上升方法，前边没负号，一个意思）：

同理求出使代价函数最小的就好了。