CBOW中关于 NLLLoss 的含义

原创已于 2022-05-07 21:42:09 修改 · 877 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #机器学习 #神经网络

于 2022-05-07 21:39:38 首次发布

torch 专栏收录该内容

4 篇文章

订阅专栏

本文通过实践探讨了NLLLoss在CBOW模型中的作用。作者使用nn.NLLLoss作为损失函数，发现当输出数组中值最接近0的下标对应于目标值。这种观察为理解NLLLoss如何在训练过程中最小化误差提供了直观解释。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

CBOW相当于填字游戏, 学习CBOW的时候对NLLLoss的一点研究:
NLLLoss的定义是一大堆公式, 没有仔细学习, 用实践法研究一下其作用:

criterion = nn.NLLLoss()
…
loss = criterion(out, target)

在本例中, 其中 out 是一个数组(list), target 是一个float张量
out 的长度代表了字典的长度.
print(out)
tensor([[-6.7951, -3.5001, -6.4829, -5.4005, -6.5381, -3.1883, -3.9513, -4.2790,
-6.8641, -6.7017, -5.5150, -5.2415, -5.0595, -0.5234, -5.9353, -3.8215,
-5.7704, -6.4269, -4.9297, -5.0495, -6.1361, -6.2943, -7.2959, -3.6133,
-5.6585, -3.4199, -6.0891, -6.1402, -6.4806, -5.5290, -5.9832, -4.9311,
-6.0941, -7.0798, -5.2637, -4.5294, -6.1587, -4.9618, -5.3551, -2.5602,
-6.7787, -5.6728, -4.7116, -5.1451, -6.3173, -4.9062, -5.8129, -6.2326,
-6.0875]], device=‘cuda:0’, grad_fn=)
print(target)
tensor([13], device=‘cuda:0’)
可以发发现下标 13 位置的数值 -0.5234 是所有数组里最接近0的.

所以猜测, NLLLoss 所有数组里最接近0的下标, 就是target的数值.

多个结果均符合猜测