xjcoolice的博客

在神经网络中，参数量和计算量是衡量神经网络模型的两个重要指标；参数量决定网络的大小，其主要影响的是模型的内存或显存大小；计算量则决定网络运行的快慢；一、计算说明：参数量（#paras）即为网络模型中含有多少个参数，与输入的数据无关，主要与模型的结构有关系；其主要影响模型运算是所需要的内存或显存计算量(#FLOPs)通常使用FLOPs(Floating point operations，浮点运算数量)来表示计算量，其主要来衡量算法/模型的复杂度。论文中一般用GFLOPs来表示，1GFLOPs=10^.

1、RNN和传统全连接神经网络的区别RNN网络在传统全连接神经网络的基础上，新增上一个状态作为输入，展开结构如下：尤其需要注意的是RNN输入间共享了一套参数（U,W,b) ，这也导致了梯度爆炸和梯度消失的原因，其次缺乏重点，引入attention机制。2、LSTM的结构LSTM在RNN的基础上引入了，遗忘门f、输入门i和输出门o 内部记忆单元c， 单独具有单元的(W,U,b)遗忘门：控制上一状态的遗忘程度输入门：控制当前输入的更新程度内部记忆单元： 上一轮记忆和当前候选记忆 c_t

TF 踩坑记录在调试TF过程种遇到很多奇怪的bug，分别记录原因和解决方案。最重要的解决方案：1、冷静 2、debug 3、问题排除训练时is_training=True 验证时is_training=False ，不设置的话，验证过程种参数会发生变化，例如BN的mean和var是统计的均值。1） 训练过程不收敛或者收敛很慢a) 检查训练数据是否解析正常b) 检查网络结构是否正常，例如是否存在重复使用softmaxc) loss 设计是否正确d) BN层以及训练参数是否可训练，检查输入的参