YiqiangXu的博客

tensorflow 的squeeze和expand_dim函数

建议参考官网文档和伪代码结合BasicLSTMCell MultiRNNCell等源码理解,尤其是官网的伪代码.

seq2seq Model源码地址调用外部的函数介绍tf.sampled_softmax_loss()tf.sampled_softmax_loss()中调用了_compute_sampled_logits() 关于__compute_sampled_logits()#此函数和nce_loss是差不多的, 取样求lossdef sampled_softmax_

前言记录下Sampled Softmax的一些原理，相当于论文 《 On Using Very Large Target Vocabulary for Neural Machine Translation 》的个人读书笔记，语句很不通顺，仅用作个人记录，若是有人有问题 再讨论吧1 问题NMT（神经网络系统现在已经得到了极大的发展，但是NMT系统一直存在一个问题，就是如何

最近看了一下rnn.py中的源码。由于水平有限，没有完全看懂，看到rnn函数和dynamic_rnn函数的时候，总感觉这两函数没啥区别，只是一个输入是 list of tensor，另一个是tensor。而且dynamic并没有想象的那么dynamic，只是将填充的部分输出为0。在每一个train step，传入model的是一个batch的数据（这一个batch的数据forward得到pre

Tensorflow RNN源代码解析笔记1：RNNCell的基本实现Tensorflow RNN源代码解析笔记2：RNN的基本实现tensorflow笔记：多层LSTM代码分析(解读PTB,即rnn的内部原理)解读tensorflow之tf.nn.rnn / tf.contrib.nn.static_rnntensor flow dynamic_rnn 与rnn有啥区

TensorFlow四种Cross Entropy算法实现和应用深入理解交叉熵算法定义和TensorFlow深度学习框架的函数实现​​​交叉熵介绍交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平方差（Mean Squared Error），定义如下。

LSTMStateTuple是一种特殊的 "二元组数据类型" ,它专门用来存储LSTM单元的state_size/zero_state/output_state.class LSTMStateTuple(_LSTMStateTuple): """Tuple used by LSTM Cells for `state_size`, `zero_state`, and output

def gradients(ys, xs, grad_ys=None, name="gradients", colocate_gradients_with_ops=False, gate_gradients=False, aggregation_method=None) """Constructs symbolic partial derivatives of

tensorflow的legacy_seq2seqtensorflow要重新给出一套seq2seq的接口，把之前的seq2seq搬到了legacy_seq2seq下，今天读的就是来自这里的代码。目前很多代码还是使用了老的seq2seq接口，因此仍有熟悉的必要。_extract_argmax_and_embed1234567891011121314151617