u012374012的专栏

正好前不久看到的一篇文章有涉及到类似的问题，讨论了对率回归中损失函数的两种形式：逻辑回归损失函数的两种形式。在二分类中，标签可以表示为{0,1}，有时也表示为{-1, 1}。把视角切换回多分类的问题中，为了贴合交叉熵的诠释，你常常看到使用一个one-hot向量表示一个标签代表的ground truth概率分布。只探讨在一般nn框架内分类问题的标签如何表示的问题。是ground truth的下标而不是one-hot编码。假设第i个样本的类别对应的是第k个类，那这个交叉熵损失展开实际上变成一个很简单的形式。