损失函数代码分析

IT_BD_Zhang

于 2021-11-07 16:24:19 发布

阅读量633

点赞数

分类专栏：软件工程应用与实践文章标签：深度学习人工智能

本文链接：https://blog.youkuaiyun.com/m0_52073096/article/details/121192871

版权

本文分析了在深度学习项目中的损失函数应用，特别是在半监督文本分类中的SemiLoss计算。训练时采用交叉熵损失，而在验证和测试阶段，利用模型训练后的交叉熵计算损失。文章介绍了损失函数的主要公式，并涉及有监督和无监督的损失计算，包括KL散度和hinge Loss的计算方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021SC@SDUSC

#训练损失函数，用在训练时

train_criterion = SemiLoss()

#交叉熵损失, 用在验证集和测试集, 是模型训完完成后的，使用交叉熵进行计算损失

criterion = nn.CrossEntropyLoss()

根据前几篇博客对损失函数的介绍，在半监督文本分类该项目的代码中，其主要公式：

使用SemiLoss计算损失

class SemiLoss(object)
def __call__(self, outputs_x, targets_x, outputs_u, targets_u, outputs_u_2, epoch, mixed=1)

半监督损失函数
param outputs_x 模型输出的x
param targets_x 真实的x
param outputs_u 模型输出的无标签的x
param targets_u 真实的无标签的x
param outputs_u_2 模型输出的无标签x_2
param epoch 迭代次数
param mixed 是否是混合过的输出
return if args.mix_method == 0 or args.mix_method =

最低0.47元/天解锁文章