suy的博客

原文来自wiki百科 https://en.wikipedia.org/wiki/Perplexity在信息论中，perplexity（复杂度）是用来评价一个语言模型预测一个样本是否很好的标准。它可以用来对比语言模型的性能。复杂度越低，代表模型的预测性能越好。概率分布的复杂度 x为随机变量，p(x)为x的分布，x的复杂度定义为： 概率模型的复杂度 给定一个概率模型q, 用它来预测独立的样本x

参考以下这篇文章学习，从上层模块结构到底层代码都分析得很清晰 http://blog.youkuaiyun.com/mydear_11000/article/details/52414342。直接从模型构建过程开始，RNN的核心单元是一个可沿时间序列展开的cell，一般先定义模型中要使用到的cell结构: lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(size, fo

最近学tensorflow里面的RNN，tensorflow框架下给RNN封装了很多方便利用的函数模块。RNN在自然语言处理中使用的较为广泛，https://github.com/tensorflow/tensorflow/tree/master/tensorflow/models/rnn/ptb， 官网给的这个例子就是基于NLP的，根据上文预测下一个词，再讲RNN的结构之前，感觉数据处理这块有必要