本文介绍了逻辑回归的基础知识，包括二分类和多分类问题，详细解析了Sigmoid函数及其在逻辑回归模型中的作用。通过代码实现逻辑回归，展示了如何在学生录取预测任务中应用，并探讨了正则化逻辑回归以提高模型的鲁棒性。在训练数据上，逻辑回归模型达到了89%的精确度。
逻辑回归案例学习
一、分类问题
二分类
我们先从用蓝色圆形数据定义为类型1，其余数据为类型2；只需要分类1次
步骤：①->②
如图
多分类
我们先定义其中一类为类型1（正类），其余数据为负类（rest）；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有n类，那就需要分类n-1次；如图
二、Sigmoid函数
σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)
则
σ ( z ) = g ( z ) = 1 1 + e − z σ(z)=g(z)=\frac{1}{1+e^-z} σ(z)=g(z)=1+e−z1
z=w^Tx+b
合起来，我们得到逻辑回归模型的假设函数
L ( y ^ , y ) = − y l o g ( y ^ ) − ( 1 − y ) l o g ( 1 − y ^ ) L(\widehat{y},y)=-ylog(\widehat{y})-(1-y)log(1-\widehat{y}) L(y
,y)=−ylog(y
)−(1−y)log(1−y
)
若表达式w0
h ( x ) = z = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n + b = w T x + b h(x)=z=w_0+w_1x_1+w_2x_2+...+w_nx_n+b=w^Tx+b h(x)=z=w0+w1x1+w2x2+...+wnxn+b=wTx+b
则b可以融入到w0,即：z=wTx
线性回归的函数h(x)=z=wTx,范围是(-∞，+∞)。
而分类预测结果需要得到[0,1]的概率值
在二分类模型中，事件的几率odds：事件发生于事件不发生的概率之比为 p 1 − p \frac{p}{1-p} 1−pp
称为事件的发生比，其中p为随机事件发生的概率，p的范围为[0,1]。取对数得到： l o g p 1 − p log\frac{p}{1-p} log1−pp
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
