bert系列第二篇：几个损失函数

原创

于 2020-10-07 10:01:25 发布 · 8.1k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#损失函数 #交叉熵 #loss #mse

本文详细介绍了几种常见的损失函数，包括L1-Loss（MAE）、MSE（L2 Loss）、nllloss（negative-log-loss）和crossentropy。通过公式解析与实例计算，阐述了它们在不同场景下的应用，指出交叉熵损失函数在多分类问题中的重要性，并解释了NLLLoss实际上与交叉熵的关联。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

L1-Loss（MAE)

$Loss(x,y)=\frac{1}{N} \sum_{i}( |x_i-y_i|)$

简单而言，就是两个向量的绝对值的误差。默认求平均，可以设置为sum。
也是mean absolute error（MAE)

举例而言：

 loss = nn.L1Loss()
    '''
    L1 Loss
    '''
    predict_ar = [0,2,3]
    target_ar = [2,2,3]
    input = torch.FloatTensor(predict_ar)
    input.requires_grad = True
    target = torch.FloatTensor(target_ar)
    output = loss(input, target)
    print(output)

结果则是0.667

MSE(L2 Loss)

这个也容易理解，则是平方误差。 mean squared error。

 loss = nn.MSELoss()
    '''
    L1 Loss
    '''
    predict_ar = [0, 2, 3]
    target_ar = [2, 2, 3]

    input = torch.FloatTensor(predict_ar)
    input.requires_grad = True
    target = torch.FloatTensor(target_ar)

    output = loss(input, target)
    print(output)