【tf系列2】参数说明

参考文章:http://blog.youkuaiyun.com/u014595019/article/details/52759104

init_scale = 0.1 # 相关参数的初始值为随机均匀分布，范围是[-init_scale,+init_scale]

learning_rate = 1.0 # 学习速率,在文本循环次数超过max_epoch以后会逐渐降低

max_grad_norm = 5 # 用于控制梯度膨胀，如果梯度向量的L2模超过max_grad_norm，则等比例缩小

num_layers = 2 # lstm层数

num_steps = 20 # 单个数据中，序列的长度。

hidden_size = 200 # 隐藏层中单元数目

max_epoch = 4 # epoch<max_epoch时，lr_decay值=1,epoch>max_epoch时,lr_decay逐渐减小

max_max_epoch = 13 # 指的是整个文本循环次数。

keep_prob = 1.0 # 用于dropout.每批数据输入时神经网络中的每个单元会以1-keep_prob的概率不工作，可以防止过拟合

lr_decay = 0.5 # 学习速率衰减

batch_size = 20 # 每批数据的规模，每批有20个。

vocab_size = 10000 # 词典规模，总共10K个词