sigmoid_cross_entropy_with_logits and weighted_cross_entropy_with_logits

最新推荐文章于 2022-03-30 10:39:17 发布

蜗牛一步一步往上爬

最新推荐文章于 2022-03-30 10:39:17 发布

阅读量4.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： tensorflow 文章标签： tensorflow

本文链接：https://blog.youkuaiyun.com/yc461515457/article/details/78959741

这篇博客介绍了在TensorFlow中，当面临多个独立二分类问题时，如何选择sigmoid_cross_entropy_with_logits作为损失函数，并解释了logits的含义。此外，还讨论了在样本不平衡情况下，如何利用weighted_cross_entropy_with_logits来调整权重优化模型训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当样本的 labels 是多个独立的二分类问题时，loss 函数之前的激活函数应该是 sigmoid/tanh，而不能使用softmax了。如果激活函数是sigmoid，这种情况下我们的loss函数就是sigmoid_cross_entropy_with_logits。

Tensorflow中，logits都是指未经过激活函数的输出，即所谓的 unscaled。

sigmoid_cross_entropy_with_logits

具体实现参考官方文档。直接给出我用python实现的版本吧。

def my_binary_crossentropy(labels, output):
  """
  binary crossentropy between an output tensor 
  and a target tensor.
  """
  # transform back to logits
  epsilon = 1e-08
  np.clip(output, epsilon, 1.0 - epsilon,