损失函数loss大总结

原创 已于 2022-01-21 11:01:24 修改 · 10w+ 阅读 · 821 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #深度学习 #人工智能

于 2018-06-23 23:29:44 首次发布

分类任务loss:

二分类交叉熵损失sigmoid_cross_entropy：

TensorFlow 接口：

tf.losses.sigmoid_cross_entropy(
    multi_class_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
tf.nn.sigmoid_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    name=None
)

keras 接口：

binary_crossentropy(y_true, y_pred)

二分类平衡交叉熵损失balanced_sigmoid_cross_entropy：

该损失也是用于2分类的任务，相比于sigmoid_cross_entrop的优势在于引入了平衡参数 ，可以进行正负样本的平衡，得到比sigmoid_cross_entrop更好的效果。

多分类交叉熵损失softmax_cross_entropy：

TensorFlow 接口：

tf.losses.softmax_cross_entropy(
    onehot_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
tf.nn.softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)
tf.nn.sparse_softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    name=None
)

keras 接口：

categorical_crossentropy(y_true, y_pred)
sparse_categorical_crossentropy(y_true, y_pred)

focal loss：

focal loss为凯明大神的大作，主要用于解决多分类任务中样本不平衡的现象，可以获得比softmax_cross_entropy更好的分类效果。

论文中α=0.25，γ=2效果最好。

dice loss(iou loss):

2分类任务时使用的loss，本质就是不断学习，使得交比并越来越大。

TensorFlow 接口：

def dice_coefficient(y_true_cls, y_pred_cls):
    '''
    dice loss
    :param y_true_cls:
    :param y_pred_cls:
    :return:
    '''
    eps = 1e-5
    intersection = tf.reduce_sum(y_true_cls * y_pred_cls )
    union = tf.reduce_sum(y_true_cls ) + tf.reduce_sum(y_pred_cls) + eps
    loss = 1. - (2 * intersection / union)
    tf.summary.scalar('classification_dice_loss', loss)
    return loss

GIOU loss(Generalized-IOU loss)：

出自论文，Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression，cvpr2019

yolov5中也有使用， 

先计算两个框的最小闭包区域面积 [公式] (通俗理解：同时包含了预测框和真实框的最小框的面积)，再计算出IoU，再计算闭包区域中不属于两个框的区域占闭包区域的比重，最后用IoU减去这个比重得到GIoU。 

两个框的最小闭包区域面积Ac = 红色矩形面积

IoU = 黄色框和蓝色框的交集 / 并集

闭包区域中不属于两个框的区域占闭包区域的比重 = 蓝色面积 / 红色矩阵面积

GIoU = IoU - 比重

def Giou(rec1,rec2):
    #分别是第一个矩形左右上下的坐标
    x1,x2,y1,y2 = rec1 
    x3,x4,y3,y4 = rec2
    iou = Iou(rec1,rec2)
    area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4))
    area_1 = (x2-x1)*(y1-y2)
    area_2 = (x4-x3)*(y3-y4)
    sum_area = area_1 + area_2

    w1 = x2 - x1   #第一个矩形的宽
    w2 = x4 - x3   #第二个矩形的宽
    h1 = y1 - y2
    h2 = y3 - y4
    W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4)    #交叉部分的宽
    H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4)    #交叉部分的高
    Area = W*H    #交叉的面积
    add_area = sum_area - Area    #两矩形并集的面积

    end_area = (area_C - add_area)/area_C    #闭包区域中不属于两个框的区域占闭包区域的比重
    giou = iou - end_area
return giou

DIOU loss（Distance-IoU Loss）:

出自论文，Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression

，AAAI 2020

DIoU要比GIou更加符合目标框回归的机制，将目标与anchor之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IoU和GIoU一样出现训练过程中发散等问题。

其中，b , bgt分别代表了预测框和真实框的中心点，且 ρ代表的是计算两个中心点间的欧式距离。c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。 

DIoU Loss的优点如下：

（1）和GIoU Loss类似，DIoU Loss在和目标框不重叠时，仍然可以为边界框提供移动方向。

（2）DIoU Loss可以直接最小化两个目标框的距离，因此比GIoU Loss收敛快得多。

（3）对于包含两个框在水平方向和垂直方向上这种情况，DIoU Loss可以使回归Loss 下降非常快，而GIoU Loss几乎退化为IoU Loss。

（4）DIoU还可以替换普通的IoU评价策略，应用于NMS中，使得NMS得到的结果更加合理和有效。

def Diou(bboxes1, bboxes2):
    rows = bboxes1.shape[0]
    cols = bboxes2.shape[0]
    dious = torch.zeros((rows, cols))
    if rows * cols == 0:#
        return dious
    exchange = False
    if bboxes1.shape[0] > bboxes2.shape[0]:
        bboxes1, bboxes2 = bboxes2, bboxes1
        dious = torch.zeros((cols, rows))
        exchange = True
    # #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3]
    w1 = bboxes1[:, 2] - bboxes1[:, 0]
    h1 = bboxes1[:, 3] - bboxes1[:, 1] 
    w2 = bboxes2[:, 2] - bboxes2[:, 0]
    h2 = bboxes2[:, 3] - bboxes2[:, 1]
    
    area1 = w1 * h1
    area2 = w2 * h2

    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 
    center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 
    center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2
    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2

    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) 
    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) 
    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) 
    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])

    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)
    inter_area = inter[:, 0] * inter[:, 1]
    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2
    outer = torch.clamp((out_max_xy - out_min_xy), min=0)
    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)
    union = area1+area2-inter_area
    dious = inter_area / union - (inter_diag) / outer_diag
    dious = torch.clamp(dious,min=-1.0,max = 1.0)
    if exchange:
        dious = dious.T
    return dious

CIOU loss（Complete-IoU Loss）：

同样出自论文，Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression，AAAI 2020

一个好的目标框回归损失应该考虑三个重要的几何因素：重叠面积，中心点距离，长宽比。GIoU为了归一化坐标尺度，利用IOU并初步解决了IoU为0无法优化的问题。然后DIoU损失在GIoU Loss的基础上考虑了边界框的重叠面积和中心点距离。所以还有最后一个点上面的Loss没有考虑到，即Anchor的长宽比和目标框之间的长宽比的一致性。基于这一点，论文提出了CIoU Loss。

应用于Yolov4

其中a是用来平衡比例的系数，v是用来衡量Anchor框和目标框之间的比例一致性。 

def bbox_overlaps_ciou(bboxes1, bboxes2):
    rows = bboxes1.shape[0]
    cols = bboxes2.shape[0]
    cious = torch.zeros((rows, cols))
    if rows * cols == 0:
        return cious
    exchange = False
    if bboxes1.shape[0] > bboxes2.shape[0]:
        bboxes1, bboxes2 = bboxes2, bboxes1
        cious = torch.zeros((cols, rows))
        exchange = True

    w1 = bboxes1[:, 2] - bboxes1[:, 0]
    h1 = bboxes1[:, 3] - bboxes1[:, 1]
    w2 = bboxes2[:, 2] - bboxes2[:, 0]
    h2 = bboxes2[:, 3] - bboxes2[:, 1]

    area1 = w1 * h1
    area2 = w2 * h2

    center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2
    center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2
    center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2
    center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2

    inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:])
    inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2])
    out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:])
    out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])

    inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)
    inter_area = inter[:, 0] * inter[:, 1]
    inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2
    outer = torch.clamp((out_max_xy - out_min_xy), min=0)
    outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)
    union = area1+area2-inter_area
    u = (inter_diag) / outer_diag
    iou = inter_area / union

    with torch.no_grad():
        arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1)
        v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2)
        S = 1 - iou
        alpha = v / (S + v)
        w_temp = 2 * w1
    ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1)
    cious = iou - (u + alpha * ar)
    cious = torch.clamp(cious,min=-1.0,max = 1.0)
    if exchange:
        cious = cious.T
    return cious

合页损失hinge_loss：

也叫铰链损失，是svm中使用的损失函数。

由于合页损失优化到满足小于一定gap距离就会停止优化，而交叉熵损失却是一直在优化，所以，通常情况下，交叉熵损失效果优于合页损失。

TensorFlow 接口：

tf.losses.hinge_loss(
    labels,
    logits,
    weights=1.0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

keras 接口：

hinge(y_true, y_pred)

Connectionisttemporal classification(ctc loss):

对于预测的序列和label序列长度不一致的情况下，可以使用ctc计算该2个序列的loss，主要用于文本分类识别和语音识别中。

TensorFlow 接口：

tf.nn.ctc_loss(
    labels,
    inputs,
    sequence_length,
    preprocess_collapse_repeated=False,
    ctc_merge_repeated=True,
    ignore_longer_outputs_than_inputs=False,
    time_major=True
)

keras 接口：

tf.keras.backend.ctc_batch_cost(
    y_true,
    y_pred,
    input_length,
    label_length
)

编辑距离 edit loss:

编辑距离，也叫莱文斯坦Levenshtein 距离，指的是两个字符串之间，由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。
该损失函数的优势在于类似于ctc loss可以计算2个长度不等的序列的损失。
TensorFlow 接口：

tf.edit_distance(
    hypothesis,
    truth,
    normalize=True,
    name='edit_distance'
)

KL散度：

KL散度( Kullback–Leibler divergence)，也叫相对熵，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

从上面式子可以看出，kl散度，也就是相对熵，其实就是交叉熵+一个常数项。

TensorFlow 接口：

tf.distributions.kl_divergence(
    distribution_a,
    distribution_b,
    allow_nan_stats=True,
    name=None
)

tf.contrib.distributions.kl(
dist_a,
    dist_b,
    allow_nan =False,
    name=None
)

最大间隔损失large margin softmax loss:

用于拉大类间距离的损失函数，可以训练得到比传统softmax loss更好的分类效果。

最大间隔损失主要引入了夹角cos值进行距离的度量。假设bias为0的情况下，就可以得出如上的公式。

其中fai(seita)需要满足下面的条件。

为了进行距离的度量，在cos夹角中引入了参数m。该m为一个正整数，可以起到控制类间间隔的作用。M越大，类间间隔越大。当m=1时，等价于传统交叉熵损失。基本原理如下面公式

论文中提供的满足该条件的公式如下

中心损失center loss:

中心损失主要主要用于减少类内距离，虽然只是减少了累内距离，效果上却可以表现出累内距离小了，类间距离就可以增大的效果。该损失不可以直接使用，需要配合传统的softmax loss一起使用。可以起到比单纯softmax loss更好的分类效果。



回归任务loss:

均方误差mean squareerror（MSE）和L2范数:

MSE表示了预测值与目标值之间差值的平方和然后求平均

L2损失表示了预测值与目标值之间差值的平方和然后开更方，L2表示的是欧几里得距离。

MSE和L2的曲线走势都一样。区别在于一个是求的平均np.mean()，一个是求的更方np.sqrt()

TensorFlow 接口：

tf.losses.mean_squared_error(
    labels,
    predictions,
    weights=1.0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
tf.metrics.mean_squared_error(
    labels,
    predictions,
    weights=None,
    metrics_collections=None,
    updates_collections=None,
    name=None
)

keras 接口：

mean_squared_error(y_true, y_pred)

平均绝对误差meanabsolute error(MAE )和L1范数:

MAE表示了预测值与目标值之间差值的绝对值然后求平均

L1表示了预测值与目标值之间差值的绝对值，L1也叫做曼哈顿距离

MAE和L1的区别在于一个求了均值np.mean()，一个没有求np.sum()。2者的曲线走势也是完全一致的。

TensorFlow 接口：

tf.metrics.mean_absolute_error(
    labels,
    predictions,
    weights=None,
    metrics_collections=None,
    updates_collections=None,
    name=None
)

keras 接口：

mean_absolute_error(y_true, y_pred)

MSE，MAE对比：

MAE损失对于局外点更鲁棒，但它的导数不连续使得寻找最优解的过程低效；MSE损失对于局外点敏感，但在优化过程中更为稳定和准确。

IDError|Error|Error2
1000
2111
3-224
4-0.50.50.25
51.51.52.25

MAE:1.          RMSE:1.22

IDError|Error|Error2
1000
2111
3111
4-224
51515225

MAE. 3.8.        RMSE:6.79

MSE易求解，但对异常值敏感， 得到观测值的均值
MAE对于异常值更加稳健， 得到观测值的中值

对于误差较大的异常样本，MSE损失远大于MAE，使用MSE的话，模型会给予异常值更大的权重，全力减小异常值造成的误差，导致模型整体表现下降。因此，训练数据中异常值较多时，MAE较好。

但MAE在极值点梯度会发生跃迁，即使很小的损失也会造成较大的误差，为解决这一问题，可以在极值附近动态减小学习率

总结：

MAE对异常值更加鲁棒，但导数的不连续导致找最优解过程中低效

MSE对异常值敏感，但优化过程更加稳定和准确

问题：

例如某个任务中90%的数据都符合目标值——150，而其余的10%数据取值则在0-30之间，那么利用MAE优化的模型将会得到150的预测值而忽略的剩下的10%（倾向于中值）；

而对于MSE来说由于异常值会带来很大的损失，将使得模型倾向于在0-30的方向取值。

Huber Loss和smooth L1：

Huber loss具备了MAE和MSE各自的优点，当δ趋向于0时它就退化成了MAE,而当δ趋向于无穷时则退化为了MSE。

Smooth L1 loss也具备了L1 loss和L2 loss各自的优点，本质就是L1和L2的组合。

Huber loss和Smooth L1 loss具有相同的曲线走势，当Huber loss中的δ等于1时，Huber loss等价于Smooth L1 loss。

对于Huber损失来说，δ的选择十分重要，它决定了模型处理局外点的行为。当残差大于δ时使用L1损失，很小时则使用更为合适的L2损失来进行优化。

Huber损失函数克服了MAE和MSE的缺点，不仅可以保持损失函数具有连续的导数，同时可以利用MSE梯度随误差减小的特性来得到更精确的最小值，也对局外点具有更好的鲁棒性。

但Huber损失函数的良好表现得益于精心训练的超参数δ。

TensorFlow接口：

tf.losses.huber_loss(
    labels,
    predictions,
    weights=1.0,
    delta=1.0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

对数双曲余弦logcosh:

其优点在于对于很小的误差来说log(cosh(x))与（x**2）/2很相近，而对于很大的误差则与abs(x)-log2很相近。这意味着logcosh损失函数可以在拥有MSE优点的同时也不会受到局外点的太多影响。它拥有Huber的所有优点，并且在每一个点都是二次可导的。

keras 接口：

logcosh(y_true, y_pred)





 

损失函数Loss相关总结（精细版）
allein_STR的博客
12-15 1万+
目录 Loss损失函数的作用 损失函数loss和准确率accuracy的比较 回归任务中的loss主要包括 Loss损失函数的作用 损失函数用来评价模型的预测值和真实值不一样的程度，深度学习训练模型的时候就是通过计算损失函数，更新模型参数，从而减小优化误差，直到损失函数值下降到目标值 或者 达到了训练次数。 不同的模型用的损失函数一般也不一样。损失函数设置的越好，通常模型的性能越好。 loss函数可以自定义 损失函数loss和准确率accuracy的比较 在分类问题中，准确率accuracy
损失函数 (Loss Function)
AI天才研究院
10-07 1704
损失函数 (Loss Function) 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在深度学习中，损失函数是模型训练的
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
损失函数和目标函数的区别？
最新发布
xioayanran123的博客
06-27 791
**鲁棒回归** | Huber损失 | $\begin{cases} \frac{1}{2}(y_i - f(x_i))^2 & |y-f| \leq \delta \\ \delta |y_i - f(x_i))| - \frac{1}{2}\delta^2 & \text{其他} \end{cases}$ | 抗离群值 || **岭回归** | $\frac{1}{2N}\|y - X\theta\|^2_2 + \lambda\|\theta\|^2_2$ | MSE + L2正则 |
损失函数（Loss Function）的全面综述
浩瀚之水的专栏
03-26 1367
损失函数是连接模型预测与优化目标的桥梁，其设计直接影响模型性能。未来随着 AutoML 和因果推理的发展，损失函数将更加自动化、自适应化，并在复杂任务（如多模态学习、强化学习）中发挥更大作用。
【机器学习】深入理解损失函数(Loss Functions)
鑫宝的博客
07-24 5013
在监督学习任务中,我们通常会构建一个模型来预测输入数据的目标值。模型的输出值通常会与真实的目标值存在一定差距,这种差距就是我们所说的"损失"(Loss)。损失函数的作用就是对这种差距进行量化,将其转化为一个可计算的数值。具体来说,损失函数是一个函数,它接受模型的预测值和真实值作为输入,输出一个非负实数,表示预测值与真实值之间的差距程度。我们的目标是找到一个模型,使得其在训练数据和测试数据上的损失函数值最小。LyyiL(y,y_i)Lyyi​其中,y表示真实值,y_i表示模型的预测值,
交叉熵损失函数优缺点_【损失函数】常见的损失函数(loss function)总结
weixin_39520595的博客
12-19 5936
阅读大概需要7分钟跟随小博主，每天进步一丢丢机器学习算法与自然语言处理出品@公众号原创专栏作者yyHaker单位 |哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。...
常见的损失函数(loss function)总结
竹杖芒鞋轻胜马
03-16 649
详见转载原文： 常见的损失函数(loss function)总结
loss函数总结
ltochange的博客
06-22 417
1. 平均绝对误差 2. 均方误差
【机器学习】常见的损失函数(loss function)总结
fengdu78的博客
04-18 1765
机器学习算法与自然语言处理出品@公众号原创专栏作者yyHaker单位 |哈工大SCIR实验室损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。常见的损失函数以及其优缺点如下：0-1损失函...
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
神经网络Loss损失函数总结
热门推荐
willduan的博客
06-25 6万+
这篇博文总结一下损失函数，这里重点总结一下常用的损失函数。 softamx cross entropy loss softmax 交叉熵损失函数是我们常用的一种损失函数，其公式如下： E(t,y)=−∑jtjlogyj E(t, y)=-\sum_j t_j \log y_j 其中，t 和 y 分别表示神经网络的目标标签和输出， yjy_j 表示softmax损失函数： yj=s
机器学习之--损失函数
sunnyxiaohu的博客
03-16 1万+
此文章翻译至机器学习的一章讲义： http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf损失函数。 我们能得到一般化的损失函数表达式，如下（14.1），在（14.1）中，我们注意到损失函数有两部分组成：损失项和规则项。我们将会在接下来的章节中介绍这两部分。 一、损失项 在这一节中，
L1loss损失函数
04-30
<think>好的，我现在需要回答用户关于L1损失函数的定义、用法和实现的问题。首先，用户之前的问题是关于注意力机制的，现在转向了损失函数，特别是L1损失。我需要结合用户提供的引用内容，尤其是引用[2]、[3]、[4]中的信息，来构建回答。 首先，用户提到的引用[2]中提到了Smooth L1 Loss，其中提到当误差大时表现得像L1，误差小时像L2。这可能与L1 Loss的特性有关，但用户现在明确询问的是L1 Loss本身。引用[3]提到了Quantile损失函数和MAE，而MAE其实就是L1损失函数。引用[4]的表格里详细介绍了各种损失函数，包括L1Loss的应用场景，比如回归任务，对异常值不敏感，适用于有异常值的情况。 接下来，我需要确定L1损失函数的数学定义。根据知识，L1损失是预测值和真实值之差的绝对值之和的平均，公式应该是：$$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 这里需要确认引用中的内容是否有补充。引用[4]提到L1Loss用于回归任务，对异常值不那么敏感，这应该在回答中强调。 然后，关于应用场景，用户可能想知道在什么情况下应该使用L1而不是MSE。根据引用[4]，当数据含有异常值时，L1通常优于MSE。此外，引用[3]提到MAE倾向于估计中位数，这可能在某些情况下有用，比如需要鲁棒性的时候。 用法方面，需要解释如何在PyTorch中实现L1损失，可能给出代码示例。根据引用[4]，PyTorch中的L1Loss对应torch.nn.L1Loss，所以应该提供一个简单的代码片段，展示如何初始化和使用该损失函数。 同时，用户提供的引用中有关于Smooth L1 Loss的信息，可能需要对比L1和Smooth L1的区别，但用户的问题是直接关于L1的，所以这部分可以作为扩展或比较，但重点应放在L1上。 此外，用户可能想知道L1损失函数的优缺点。根据引用[2]和[4]，优点是对异常值不敏感，缺点是可能在优化时收敛较慢，因为梯度在接近零点处不平滑。 需要确保回答结构清晰，分为定义、应用场景、实现、优缺点等部分，并引用相关的引用来源。例如，在提到对异常值的鲁棒性时，可以引用[2]和[4]。 最后，生成相关问题，可能需要联系用户之前的注意力机制问题，或者损失函数的其他类型，比如Smooth L1、Quantile损失等，但根据当前问题，相关问题应围绕L1损失展开，如与其他损失函数的对比，如何选择损失函数，实际应用案例等。 检查是否有遗漏的信息，比如引用[3]中的分位数损失是否与L1相关，MAE和中位数的关系是否需要进一步解释。确保回答准确，同时参考用户提供的引用内容，但不过度引用不相关的部分。 总结，回答的结构应该是： 1. 定义（公式、解释） 2. 应用场景（回归、异常值处理） 3. 实现方法（PyTorch代码） 4. 优缺点 5. 对比其他损失函数（如MSE） 6. 相关问题 在引用方面，应用场景部分引用[4]，对异常值的处理引用[2]和[4]，中位数倾向引用[3]等。确保每个引用只在相关部分提及，并在末尾添加标识。</think># L1损失函数详解 ## 一、数学定义与特性 L1损失函数（平均绝对误差，MAE）的数学表达式为： $$ L = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i| $$ 其中$y_i$为真实值，$\hat{y}_i$为预测值。该函数具有**对称性**和**鲁棒性**，对异常值敏感度较低[^2][^4]。 关键特性： 1. 倾向于估计数据的中位数（对比MSE估计均值）[^3] 2. 梯度在原点处不连续，但整体梯度幅度恒定 3. 误差增长速率线性于预测偏差 ## 二、应用场景 | 场景类型 | 具体案例 | 优势体现 | |----------------|----------------------------|------------------------| | 回归任务 | 房价预测、销量预测 | 对异常值不敏感[^4] | | 图像处理 | 图像去噪、超分辨率重建 | 保持边缘锐度 | | 金融预测 | 股价波动预测 | 降低极端事件影响 | | 传感器数据校准 | 工业设备异常检测 | 稳定处理测量噪声 | ## 三、PyTorch实现方法 ```python import torch.nn as nn # 创建损失函数实例 l1_loss = nn.L1Loss(reduction='mean') # reduction可选'max','min','sum' # 计算损失示例 pred = torch.tensor([2.5, 0.8, 5.2]) # 预测值 target = torch.tensor([3.0, 0.5, 4.9]) # 真实值 loss = l1_loss(pred, target) # 输出：0.4 ``` ## 四、与MSE的对比分析 $$ \begin{array}{|l|c|c|} \hline \text{特性} & \text{L1 Loss} & \text{MSE} \\ \hline \text{数学形式} & |y-\hat{y}| & (y-\hat{y})^2 \\ \text{梯度特性} & \text{恒定梯度} & \text{梯度随误差增大而增强} \\ \text{异常值敏感度} & \text{低} & \text{高} \\ \text{收敛速度} & \text{较慢} & \text{较快} \\ \text{最优估计} & \text{中位数} & \text{均值} \\ \hline \end{array} $$ ## 五、改进方案 1. **Smooth L1 Loss**：在接近零点区域使用二次函数平滑 $$ L = \begin{cases} 0.5x^2 & \text{if } |x| < 1 \\ |x| - 0.5 & \text{otherwise} \end{cases} $$ 平衡了L1/L2的优点，常用于目标检测（如Faster R-CNN）[^2] 2. **Huber Loss**：引入可调参数δ控制平滑范围 $$ L_\delta = \begin{cases} \frac{1}{2}x^2 & \text{for } |x| \leq \delta \\ \delta|x| - \frac{1}{2}\delta^2 & \text{otherwise} \end{cases} $$ ## 六、最佳实践建议 1. **数据预处理**：建议对输入数据进行标准化（Z-score） 2. **优化器选择**：搭配自适应优化器（如Adam）可改善收敛性 3. **学习率设置**：初始学习率建议设为MSE场景的1/10 4. **监控指标**：建议同时计算MAE和MSE评估模型表现 --相关问题-- 1. 如何选择L1 Loss和Huber Loss的超参数？ 2. 在图像重建任务中，L1 Loss相比MSE有什么视觉优势？ 3. 为什么L1正则化能产生稀疏解？ 4. 如何实现带权重的L1 Loss函数？ [^2]: 当预测值与真实值之间的差异很大时，Smooth L1 Loss表现得像L1 Loss，这减少了对大误差的惩罚 [^3]: MAE函数实际上会倾向于预估样本中位数 [^4]: L1Loss对异常值不那么敏感，当数据含有异常值时通常优于MSE
评论 30
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值