对比两个函数tf.nn.softmax_cross_entropy_with_logits和tf.nn.sparse_softmax_cross_entropy_with_logits

最新推荐文章于 2020-02-29 15:47:59 发布

原创最新推荐文章于 2020-02-29 15:47:59 发布 · 2.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow

我的Python学习专栏收录该内容

60 篇文章

订阅专栏

本文通过示例对比了TensorFlow中两种交叉熵损失函数的使用：tf.nn.softmax_cross_entropy_with_logits与tf.nn.sparse_softmax_cross_entropy_with_logits。前者接受one-hot形式的标签，后者则直接接收整数类型的标签。实验表明这两种函数在特定条件下返回相同的损失值。

部署运行你感兴趣的模型镜像

import tensorflow as tf
from random import randint

dims = 8
pos  = randint(0, dims - 1)

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32)
labels = tf.one_hot(pos, dims)

res1 = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos))

with tf.Session() as sess:
    a, b = sess.run([res1, res2])
    print a, b
    print a == b

tf.nn.softmax_cross_entropy_with_logits 中label输入的是一个one_hot型
tf.nn.sparse_softmax_cross_entropy_with_logits 中label输入的是int型

另外，这两个数值相等
cross_entropy1 = -tf.reduce_sum(y_*tf.log(y_conv))
cross_entropy = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(labels=y_,
logits=tf.matmul(h_fc1_drop, W_fc2) + b_fc2, name=’xentropy’))

您可能感兴趣的与本文相关的镜像