tf.keras.losses.SparseCategoricalCrossentropy 学习总结

原创已于 2023-02-01 09:15:05 修改 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

于 2023-01-13 18:27:00 首次发布

tensorflow2.x 同时被 2 个专栏收录

39 篇文章

订阅专栏

深度学习基础

24 篇文章

订阅专栏

SparseCategoricalCrossentropy是一个用于多类别分类的损失函数，它允许预期结果不使用onehot编码。from_logits参数决定是否在计算前对预测概率应用softmax。如果为False，会先做归一化；如果为True，则会执行softmax。reduction参数控制损失如何减少，可以选择none、sum或sum_over_batch_size。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

此方法就是计算结果的交叉熵的，Sparse的含义就是指期望的结果不需要是onehot结果，只需要记录对应的准确记过位置即可，对应概率值是1不变。

例如：

y_true = [1, 2]
y_pred = [[0.05, 0.95, 0], [0.1, 0.8, 0.1]]
#表示有三类结果(label0,lable1,label2)，y_true的意思表示，期望的结果中索引下标为1的label的概率为1，下表为2的label的概率为1。此为稀疏表示法

SparseCategoricalCrossentropy有两个参数，分别为from_logits和reduction分别介绍：

from_logits参数：

from_logits为False时，表示在计算交叉熵之前，此方法会对y_pred进行求和归一化操作，操作过程为：

y_pred=tf.math.divide(y_pred,tf.math.reduce_sum(y_pred,axis=-1,keepdims=True))

from_logits为True时，表示在计算交叉熵之前，此方法会对y_pred进行softmax操作，操作过程为：

y_pred=tf.exp(y_pred) / tf.reduce_sum(tf.exp(y_pred), axis, keepdims=True)
#或则 y_pred=tf.math.softmax(y_pred)

reduction参数，参考(14条消息) keras.losses中 reduction=‘none‘的用法_muyuu的博客-优快云博客_reduction='none：

‘none’：每个step位置的损失都单独保留。返回值的形状为：(batch_size, num_steps)其中，num_steps有可能不存在，对于RNN的往往存在

‘sum’：返回值 = 上述 batch_size*num_steps 个step位置的损失的和

‘sum_over_batch_size’：返回值 = 上述 batch_size× \times×num_steps 个step位置的损失的平均值，即 ‘sum’ 返回值除以 batch_size× \times×num_steps

‘auto’：一般相当于 ‘sum_over_batch_size’