tensorflow之损失函数:sparse_softmax_cross_entropy_with_logits 与 softmax_cross_entropy_with_logits的区别

最新推荐文章于 2020-05-28 21:42:20 发布

原创最新推荐文章于 2020-05-28 21:42:20 发布 · 792 阅读

2 ·

CC 4.0 BY-SA版权

深度学习同时被 3 个专栏收录

54 篇文章

订阅专栏

机器学习

49 篇文章

订阅专栏

tensorflow

34 篇文章

订阅专栏

本文对比了TensorFlow中两种交叉熵损失函数：sparse_softmax_cross_entropy_with_logits与softmax_cross_entropy_with_logits的区别。前者直接接收数字标签，后者则需要one-hot形式的标签。文章通过示例代码展示了两种函数的应用，并强调了求和与求平均步骤的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原函数：

tf.nn.sparse_softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    name=None
)

tf.nn.softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)

1.sparse_softmax_cross_entropy_with_logits中 lables接受直接的数字标签
如[1], [2], [3], [4] （类型只能为int32，int64）

labels=tf.constant([0,1,2,3],dtype=tf.int32)
logits=tf.Variable(tf.random_normal([4,4]))
loss=tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels,logits=logits)
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss))

2.而softmax_cross_entropy_with_logits中 labels接受one-hot标签
如[1,0,0,0], [0,1,0,0],[0,0,1,0], [0,0,0,1] （类型为int32， int64）

相当于sparse_softmax_cross_entropy_with_logits 对标签多做一个one-hot动作

labels=tf.constant([[1,0,0,0], [0,1,0,0],[0,0,1,0], [0,0,0,1] ],dtype=tf.int32)
logits=tf.Variable(tf.random_normal([4,4]))
loss=tf.nn.softmax_cross_entropy_with_logits(labels=labels,logits=logits)
sess=tf.Session()
init=tf.global_variables_initializer()
sess.run(init)
print(sess.run(loss))

注意！！！上面两个函数的返回值并不是一个数，而是一个向量，如果要求交叉熵，我们要再做一步tf.reduce_sum操作,就是对向量里面所有元素求和，如果求loss，则要做一步tf.reduce_mean操作，对向量求均值！