备忘：区分tensorflow中几种cross_entropy函数

最新推荐文章于 2025-09-05 14:51:11 发布

原创最新推荐文章于 2025-09-05 14:51:11 发布 · 408 阅读

2 ·

CC 4.0 BY-SA版权

备忘同时被 2 个专栏收录

13 篇文章

订阅专栏

tensorflow

6 篇文章

订阅专栏

本文深入探讨了深度学习中常见的损失函数，包括softmax_cross_entropy和sigmoid_cross_entropy的使用场景及其实现方式。详细对比了不同函数在多分类和二分类问题中的应用，如tf.nn.softmax_cross_entropy_with_logits和tf.losses.sparse_softmax_cross_entropy的区别。此外，还讨论了函数的权重调整方法及其对模型训练的影响。

# A logit (also called a score) is a raw unscaled value associated with a class.
# 多分类问题 输入标签需要Onehot编码 输出logits向量
tf.nn.softmax_cross_entropy_with_logits
# 多分类问题 输入标签不必Onehot编码 输出logits向量
tf.nn.sparse_softmax_cross_entropy_with_logits

# 多分类问题 输入标签需要Onehot编码 输出loss值
tf.losses.softmax_cross_entropy
# 多分类问题 输入标签不必Onehot编码 输出loss值
tf.losses.sparse_softmax_cross_entropy

# DEPRECATED
tf.contrib.losses.softmax_cross_entropy
tf.conbrib.losses.sparse_softmax_cross_entropy

# 关系
tf.losses.softmax_cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits)
# 有权重
tf.losses.softmax_cross_entropy(weight=W) = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits*W)

# The sigmoid is a partial case of the softmax function
# 二分类
tf.nn.sigmoid_cross_entropy_with_logits
tf.nn.weighted_cross_entropy_with_logits(labels, logits, pos_weight, name=None)
tf.losses.sigmoid_cross_entropy
tf.contrib.losses.sigmoid_cross_entropy(DEPRECATED)