逻辑回归中的损失函数的解释

https://blog.youkuaiyun.com/weixin_41537599/article/details/80585201

 

1.Logistic Regression（逻辑回归）
逻辑回归是机器学习中的一个非常常见的模型， 逻辑回归模型其实仅在线性回归的基础上，套用了一个逻辑函数。
逻辑回归可以看做是两步，第一步和线性回归模型的形式相同，即一个关于输入x的线性函数：
第二步通过一个逻辑函数，即sigmoid函数，将线性函数转换为非线性函数。
2.损失函数
为了训练逻辑回归模型的参数w和b需要一个代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m：


3.为什么逻辑回归的损失函数是这样的形式
我们假定输入样本x，用y^表示训练样本x条件下预测y=1的概率，对应的，用1-y^表示训练样本x条件下预测y=0的概率，也就是说：

我们可以把这两个公式合并成一个公式：

可以发现，在y=1时公式右边等于y^，在y=1时公式右边等于1-y^。由于log函数是严格递增函数，所以最大化log等价于最大化原函数，上式因此可以化简为式子，也就是损失函数的负数。

最大化似然函数也就是最小化损失函数。
对于m个样本的整个训练集，服从独立同分布的样本的联合概率就是每个样本的概率的乘积：

同样的，最大化似然函数也就是最小化代价函数，因此可以去掉负号，并除以一个常数m对代价函数进行适当的缩放，得到：
4.参考资料
以上是解释在逻辑回归中为什么设定这样的损失函数，对之后的深度学习的损失函数原理做一定启发。参考资料是Andrew Ng在Coursera上的neural networks and deep learning课程：
https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome
---------------------  
作者：yidiLi  
来源：优快云  
原文：https://blog.youkuaiyun.com/weixin_41537599/article/details/80585201  
版权声明：本文为博主原创文章，转载请附上博文链接！

转载于:https://www.cnblogs.com/fengff/p/10167739.html