今下午开始脑子一直懵,对于刚入机器几天的小渣渣来说,内容越来越难了,学的有些吃力,并且概率论类的东西由于某些原因没能好好学,导致现在看的很费劲。
折腾了一下午一半天,好好梳理了线性回归和Logistic回归,按自己的理解整理一下。
首先,回归就是使用一条直线,对已知点进行拟合(该线成为最佳拟合直线),得到这条直线,通常都是使用梯度上升或者梯度下降的方法求出参数(这里只是差距一个负号,本质一样)
线性回归:
线性回归模型是预测连续输出,如下边例子,求一条最佳拟合直线。
所求函数:
代价函数:
(函数的意思为每个点的纵坐标到拟合直线的距离差的平方的加和,再乘前边的1/(2*m))
我们可以画出代价函数的图像(类似这样,因为m不确定没法知道具体值),当为1时,代价为0,所以0就是要求的值:
所以可以画出最佳拟合直线为:
Logistic回归:
现在的二元分类问题是预测一个离散的输出,只关心有无,需要选取一个阈值,超过这个阈值就是y=1y=1,低于这个阈值就是y=0y=0,因此一般选取Sigmoid函数,我们可以设置h(x)>=0.5时,设置h(x)对应值为1,h(x)<0.5时,设置h(x)对应值为0,可以将数据分为0和1两个类,其中当h(x)>=0.5时,x>=0,当h(x)<0.5时,x<0。
Sigmoid函数对应图像为:
所求函数1:
假设我们通过代价函数找到了分别为-3,1,1,则要想h(x)=1只需要-3+x1+x2>=0,求得x1+x2>=3,得出最佳拟合线:
所求函数2:
假设我们通过代价函数找到了分别为-1,0,0,1,1,则要想h(x)=1只需要-1+x1^2+x2^2>=0,求得x1^2+x2^2>=1,得出最佳拟合线:
至于课本中的例子,我们的所求函数为:
代价函数(吴恩达老师讲的梯度下降方法,前边有负号,课本上是梯度上升方法,前边没负号,一个意思):
同理求出使代价函数最小的就好了。