机器学习（三）————逻辑回归

参考博客：https://blog.youkuaiyun.com/yinyu19950811/article/details/81321944

逻辑回归的函数

逻辑回归的假设

其第一个假设是：假设数据服从伯努利分布
其第二个假设是：假设模型的输出值是样本为正的概率。

图中g（z）所对应的函数称为Sigmoid函数,而h(x)可以理解为概率，即当h(x)>=0.5时，z>=0，此时y为1分类，当h(x)<0.5时，<0，此时y为0分类

使用sigmoid函数原因详见https://blog.youkuaiyun.com/baidu_15238925/article/details/81291247

其中θx为决策边界，如下图，

---

逻辑回归的代价函数

代价函数需要是凸函数，便于得到全局最小值，
非凸函数有很多局部最小值，不利于梯度下降

代价函数如下（使用极大似然估计得到交叉熵函数）

其中，当y=1时,若h(x)=1，由log函数得cost为0，没有代价
若h(x)=0,则cost为无穷，代价最大

将函数合并，得到简化的代价函数

然后梯度下降得到minJ（θ）
输出h(x)

注：为什么使用交叉熵而不是均方差？

使用交叉熵作为损失函数，求得的梯度不受sigmoid函数导数影响，且真实值与预测值差别越大，梯度越大，更新的速度也就越快

如果用的是均方差（MSE）作为损失函数，求得的梯度受到sigmoid函数导数的影响

---

逻辑回归的多分类

由于概率函数 hΘ(X) 所表示的是样本标记为某一类型的概率，但可以将一对一（二分类）扩展为一对多（one vs rest）：

将类型class1看作正样本，其他类型全部看作负样本，然后我们就可以得到样本标记类型为该类型的概率p1；

然后再将另外类型class2看作正样本，其他类型全部看作负样本，同理得到p2；

以此循环，我们可以得到该待预测样本的标记类型分别为类型class i时的概率pi，最后我们取pi中最大的那个概率对应的样本标记类型作为我们的待预测样本类型