RNN中的sparse_softmax_cross_entropy_with_logits

最新推荐文章于 2021-08-10 10:57:01 发布
原创 最新推荐文章于 2021-08-10 10:57:01 发布 · 188 阅读 · 0 ·
CC 4.0 BY-SA版权
注意转载出处～蟹蟹哟

本文通过具体实例，详细介绍了在TensorFlow中如何使用sparse_softmax_cross_entropy_with_logits函数进行交叉熵损失计算。该函数适用于分类任务，特别是在多分类场景下，能够直接接受整数标签作为输入，简化了计算过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

看完这个例子你就懂了

# batch_size是2，时间步是2
ax = [[1,2,3,4],[2,3,4,5],[2,2,4,5],[2,1,4,5]]# 2*2,4
bx = [[2,1],[2,3]]
ax = tf.convert_to_tensor(ax,dtype=tf.float32)
bx = tf.convert_to_tensor(bx)
z = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=ax, labels=tf.reshape(bx, [-1]))
with tf.Session() as sess:
    print(sess.run(ax))
    print(sess.run(z))

输出结果

[[1. 2. 3. 4.]
 [2. 3. 4. 5.]
 [2. 2. 4. 5.]
 [2. 1. 4. 5.]]
[1.4401897 2.4401896 1.3835287 0.3618491]
sparse_softmax_cross_entropy_with_logits
MiniCnCoder的博客
04-11 380
1、tf.nn.sparse_softmax_cross_entropy_with_logitstensorflow help info:tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(y_,1),logits=y) #y_标签 y_.shape = [batch_size,num_class] tf.argmax(y...
NLP中模型的一些总结
NeilGY的博客
02-27 2573
1. 各种交叉熵损失函数的比较： sparse_softmax_cross_entropy_with_logits(logits=net, labels=y):labels可以是直接的数字标签，会将其做one-hot操作 softmax_cross_entropy_with_logits中 labels接受one-hot标签 。相当于sparse_softmax_cross_entropy_wi...
sigmoid_cross_entropy_with_logits,softmax_cross_entropy_with_logits,sparse_softmax_cross_entropy_…
01-20
tf.nn.sigmoid_cross_entropy_with_logits 函数的计算方式就是对输出值先算sigmoid，然后与真实值做交叉商运算。 sigmoid函数的定义：11+e−x\displaystyle\frac{1}{1+e^{-x}}1+e−x1​ 交叉商的计算方式：−(labels∗log(−logits)+(1−labels)∗log(1−logits))-(labels*log(-logits)+(1-labels)*log(1-logits))−(labels∗log(−logits)+(1−labels)∗log(1−logits)) labelslabelsla
tensorflow sparse_softmax_cross_entropy_with_logits()函数
人工智能，深度学习，人脸识别
01-04 1399
  函数：tf.nn.sparse_softmax_cross_entropy_with_logits(logits=x, labels=y) 作用：计算logits和labels之间的稀疏softmax交叉熵，该函数为常用函数。 函数：tf.nn.softmax_cross_entropy_with_logits(logits=x, labels=y) 作用：计算logits和label...
tensorflow函数--sparse_softmax_cross_entropy_with_logits
cnki_ok的专栏
04-19 4633
地址：https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/ops/nn_ops.py  1688
import tensorflow as tf # 定义参数 input_size = 10 lstm_size = 64 batch_size = 32 num_steps = 100 # 定义输入和输出 inputs = tf.placeholder(tf.float32, [batch_size, num_steps, input_size]) targets = tf.placeholder(tf.int32, [batch_size, num_steps]) # 定义LSTM单元 lstm_cell = tf.contrib.rnn.BasicLSTMCell(lstm_size) # 初始化LSTM状态 initial_state = lstm_cell.zero_state(batch_size, tf.float32) # 运行LSTM outputs, state = tf.nn.dynamic_rnn(lstm_cell, inputs, initial_state=initial_state) # 定义输出层 output = tf.reshape(outputs, [-1, lstm_size]) softmax_w = tf.Variable(tf.truncated_normal([lstm_size, input_size], stddev=0.1)) softmax_b = tf.Variable(tf.zeros(input_size)) logits = tf.matmul(output, softmax_w) + softmax_b predictions = tf.nn.softmax(logits) # 定义损失函数和优化器 loss = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.reshape(targets, [-1]), logits=logits)) optimizer = tf.train.AdamOptimizer().minimize(loss) # 训练模型 with tf.Session() as sess: sess.run(tf.global_variables_initializer()) for i in range(num_epochs): batch_inputs, batch_targets = get_batch(data, batch_size, num_steps) feed = {inputs: batch_inputs, targets: batch_targets} _, training_loss = sess.run([optimizer, loss], feed_dict=feed) print("Epoch: %d, Loss: %.3f" % (i, training_loss))逐行解释代码含义
05-15
7. 定义输出层参数：softmax 权重和偏置 8. 计算预测值 9. 定义损失函数：交叉熵 10. 定义优化器：Adam 11. 使用 TensorFlow 的会话运行模型 12. 初始化所有变量 13. 循环训练模型，每次取一个批次的数据，计算损失...
python sklearn库 rnn_如何使用Tensorflow计算RNN和LSTM模型的AUC并生成ROC曲线？
weixin_29025501的博客
01-14 1464
我使用一个自定义的预定义函数trainDNN运行RNN和LSTM模型import tensorflow as tffrom tensorflow.contrib.layers import fully_connectedimport h5pyimport timefrom sklearn.utils import shuffledef trainDNN(path, n_days, n_featur...
深度学习（07）_RNN-循环神经网络-02-Tensorflow中的实现
热门推荐
莫失莫忘的博客
06-19 2万+
关于基本的RNN和LSTM的概念和BPTT算法可以查看这里 本文个人博客地址：http://lawlite.me/2017/06/16/RNN-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C-02Tensorflow%E4%B8%AD%E7%9A%84%E5%AE%9E%E7%8E%B0/ 参考文章： https://r2rt.com/
python文本文件操作诗句给上一句输出下一句_使用RNN生成文本实战：莎士比亚风格诗句...
weixin_39641173的博客
12-17 925
使用RNN生成文本实战：莎士比亚风格诗句 (tensorflow2.0官方教程翻译)本教程演示了如何使用基于字符的 RNN 生成文本。我们将使用 Andrej Karpathy 在 The Unreasonable Effectiveness of Recurrent Neural Networks 一文中提供的莎士比亚作品数据集。我们根据此数据(“Shakespear”)中的给定字符序列训练一...
tf.nn.sparse_softmax_cross_entropy_with_logits
boy854456187的博客
03-16 544
转载总结 请参考原文连接：sparse_softmax_cross_entropy_with_logits tf.nn.sparse_softmax_cross_entropy_with_logits与tf.nn.sofrmax_cross_entropy_with_logits有一些差异： 1，onehot格式和类别格式； 2，label的维度不同； 写在前面：想做这篇很久很久了，想对比加了sparse的和不加的api有什么区别。也准备了很久，但是越准备，我的疑问就越多，所以一直没有下手写。写前一篇也是只
tf.nn.sparse_softmax_cross_entropy_with_logits()函数
rocking_struggling的博客
03-29 1359
感觉就是softmax+tf.nn.softmax_cross_entropy_with_logits 原文链接：https://blog.youkuaiyun.com/ZJRN1027/article/details/80199248 tf.nn.sparse_softmax_cross_entropy_with_lo...
【TensorFlow】关于tf.nn.sparse_softmax_cross_entropy_with_logits（）
qq_41295976的博客
03-19 255
转载https://blog.youkuaiyun.com/ZJRN1027/article/details/80199248 tf.nn.sparse_softmax_cross_entropy_with_logits() 这是一个TensorFlow中经常需要用到的函数。官方文档里面有对它详细的说明，传入的logits为神经网络输出层的输出，shape为[batch_size，num_classes]...
tf.nn.sparse_softmax_cross_entropy_with_logits（）
weixin_39780859的博客
08-10 191
第一步：Softmax 第二步：Cross-Entropy tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None) 这里的labels的形状为[batch_size],也即长度为batch_size的一维向量。每一个值的取值范围是[0,num_class)。 如果label 已经是one-hot格式，可以使用 tf.nn.softmax_cross_entropy_with_logits() 参考 https:/
【Tensorflow】使用sparse_softmax_cross_entropy_with_logits计算交叉熵
1003
03-21 337
tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_,1)) logits：神经网络不包括softmax层的前向传播结果，是向量格式。 labels：训练数据的正确答案，是标签格式。可以用tf.argmax(y_,1)来获得正确答案对应的编号。1：在第一维度（每一行）选取最大值对应的下标。 ...
sparse_softmax_cross_entropy_with_logits的介绍
02-24 1005
sparse_softmax_cross_entropy_with_logits实际上是softmax和cross_entropy（交叉熵）两个函数的组合一、softmax核心是做归一化而softmax把一个k维的real value向量（a1,a2,a3,a4….）映射成一个（b1,b2,b3,b4….）其中bi是一个0-1的常数，然后可以根据bi的大小来进行多分类的任务，如取权重最大的一维。二...
tf.nn.sparse_softmax_cross_entropy_with_logits交叉熵函数
qq_38343151的博客
10-26 722
tf.nn.sparse_softmax_cross_entropy_with_logits( labels, logits, name=None ) labels:为样本的真实标签，shape为[batch_size]，每一个值∈[0，num_classes)，其实就是代表了batch中对应样本的类别，如二分类的label[0,0,1,0...] logits:为...
tensorflow tf.nn.softmax_cross_entropy_with_logits & tf.nn.sparse_softmax_cross_entropy_with_logits
tz_zs的博客
07-25 1万+
____tz_zs tf.nn.sparse_softmax_cross_entropy_with_logits tensorflow官网api：https://www.tensorflow.org/api_docs/python/tf/nn/sparse_softmax_cross_entropy_with_logits sparse_softmax_cross_entropy
[Tensorflow] sparse_softmax_cross_entropy_with_logits的NaN问题
编程小白的逆袭日记
06-01 960
这是今天遇到的一个Tensorflow问题，使用sparse_softmax_cross_entropy_with_logits始终返回NaN。 查阅了Google后在github上找到了答案。 先说一下我的程序吧。 n_classes= 5 x = tf.placeholder(tf.float32, [None, 20]) y_ = tf.placeholder(tf.int64, [None]) w = tf.Variable(tf.random_uniform([20,n_classes]),n
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值