逻辑回归案例学习
一、分类问题
二分类
我们先从用蓝色圆形数据定义为类型1,其余数据为类型2;只需要分类1次
步骤:①->②
如图
多分类
我们先定义其中一类为类型1(正类),其余数据为负类(rest);接下来去掉类型1数据,剩余部分再次进行二分类,分成类型2和负类;如果有n类,那就需要分类n-1次;如图
二、Sigmoid函数
σ(z)代表一个常用的逻辑函数(logistic function)为S形函数(Sigmoid function)
则
σ ( z ) = g ( z ) = 1 1 + e − z σ(z)=g(z)=\frac{1}{1+e^-z} σ(z)=g(z)=1+e−z1
z=w^Tx+b
合起来,我们得到逻辑回归模型的假设函数
L ( y ^ , y ) = − y l o g ( y ^ ) − ( 1 − y ) l o g ( 1 − y ^ ) L(\widehat{y},y)=-ylog(\widehat{y})-(1-y)log(1-\widehat{y}) L(y
,y)=−ylog(y
)−(1−y)log(1−y
)
若表达式w0
h ( x ) = z = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n + b = w T x + b h(x)=z=w_0+w_1x_1+w_2x_2+...+w_nx_n+b=w^Tx+b h(x)=z=w0+w1x1+w2x2+...+wnxn+b=wTx+b
则b可以融入到w0,即:z=wTx
线性回归的函数h(x)=z=wTx,范围是(-∞,+∞)。
而分类预测结果需要得到[0,1]的概率值
在二分类模型中,事件的几率odds:事件发生于事件不发生的概率之比为 p 1 − p \frac{p}{1-p} 1−pp
称为事件的发生比,其中p为随机事件发生的概率,p的范围为[0,1]。取对数得到: l o g p 1 − p log\frac{p}{1-p} log1−pp