LogLoss的公式演化

最新推荐文章于 2025-06-08 15:21:49 发布

原创最新推荐文章于 2025-06-08 15:21:49 发布 · 1.2w 阅读

3 ·

CC 4.0 BY-SA版权

机器学习专栏收录该内容

4 篇文章

订阅专栏

LogLoss主要应用于逻辑回归，处理离散因变量如二分类问题。它通过逻辑函数将结果映射到[0,1]区间，表示DV为1的概率。LogLoss公式用于衡量预测模型与真实模型的匹配程度，作为损失函数用于模型训练。在二分类中，当y为0或1时，LogLoss分别计算不同情况下的概率误差。" 112944911,10545168,Ubuntu18.04下编译安装VASP.5.4.1：gfortran与MKL两种方法详解,"['Ubuntu安装', 'VASP', '科学计算', '软件编译']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LogLoss一般应用于logistic regression[logit regression,logit model]，而logistic regression模型的因变量是categorical，比如二分类的0和1。多分类的模型就是mutinomial logistic regression。
1. 在logistic regression里面有一个logistic function(注意区分logit function)，用与将结果从[-R,+R]映射到[0,1]。
  $\sigma (t)=\frac{1}{1+e^{-t}}$
2. 这里的σ(t)是对DV(dependent variable)的一种概率预测，而且是对DV=1时的预测。因此得到另外一个概率函数(hθ(x)经过输入x由hidden layer输出的结果)：
  Pr(y|x;θ)=hθ(x)y(1−hθ(x))(1−y)
  1. 当y(DV)=0时，由于 $h_\theta(x)$ 是对DV=1时的概率，故DV=1的概率是0， $h_\theta(x)=0$ ，则 $Pr(0|x;\theta)=1-0=1$
    $Pr(0|x;\theta)=1-h_\theta(x)$
  2. 当y=1时，即与DV=1的概率同分布
    $Pr(1|x;\theta)=h_\theta(x)$
对预测的概率函数进行极大似然法计算，就可以得到预测模型和真实模型的匹配程度，可以作为loss函数进行训练：
$N^{-1}logL(\theta|x)=N^{-1}\sum_{i=1}^{N}logPr(y_i|x_i;\theta)=N^{-1}\sum_{i=1}^{N}ylogh_\theta(x) + (1-y)log(1-h_\theta(x))$
下面是logLoss的计算

import numpy as np 
def log_loss(true_y,pred_h):
    return -np.mean(true_y*np.log(pred_h)+(1-true_y)*np.log(1-pred_h))