机器学习-Logistic回归与线性回归的理解

这篇博客主要介绍了线性回归和Logistic回归的概念和区别。线性回归用于连续输出的预测,通过梯度上升或下降找到最佳拟合直线。Logistic回归则针对二元分类问题,利用Sigmoid函数将预测结果转化为0或1,并通过代价函数寻找最佳分类边界。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

今下午开始脑子一直懵,对于刚入机器几天的小渣渣来说,内容越来越难了,学的有些吃力,并且概率论类的东西由于某些原因没能好好学,导致现在看的很费劲。

折腾了一下午一半天,好好梳理了线性回归和Logistic回归,按自己的理解整理一下。

 

首先,回归就是使用一条直线,对已知点进行拟合(该线成为最佳拟合直线),得到这条直线,通常都是使用梯度上升或者梯度下降的方法求出参数(这里只是差距一个负号,本质一样)

 

 

线性回归:

线性回归模型是预测连续输出,如下边例子,求一条最佳拟合直线。

所求函数:

  

代价函数:

(函数的意思为每个点的纵坐标到拟合直线的距离差的平方的加和,再乘前边的1/(2*m))

我们可以画出代价函数的图像(类似这样,因为m不确定没法知道具体值),当为1时,代价为0,所以0就是要求的值:

所以可以画出最佳拟合直线为:

 

Logistic回归:

现在的二元分类问题是预测一个离散的输出,只关心有无,需要选取一个阈值,超过这个阈值就是y=1y=1,低于这个阈值就是y=0y=0,因此一般选取Sigmoid函数,我们可以设置h(x)>=0.5时,设置h(x)对应值为1,h(x)<0.5时,设置h(x)对应值为0,可以将数据分为0和1两个类,其中当h(x)>=0.5时,x>=0,当h(x)<0.5时,x<0。

Sigmoid函数对应图像为:

所求函数1:

假设我们通过代价函数找到了分别为-3,1,1,则要想h(x)=1只需要-3+x1+x2>=0,求得x1+x2>=3,得出最佳拟合线:

所求函数2:

假设我们通过代价函数找到了分别为-1,0,0,1,1,则要想h(x)=1只需要-1+x1^2+x2^2>=0,求得x1^2+x2^2>=1,得出最佳拟合线:

 

至于课本中的例子,我们的所求函数为:

代价函数(吴恩达老师讲的梯度下降方法,前边有负号,课本上是梯度上升方法,前边没负号,一个意思):

同理求出使代价函数最小的就好了。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值