lz的博客

防止过拟合 正则化 DropOut early stopping 防止梯度消失、梯度爆炸 Batch Normalization

前向、后向LSTM分离 BiLSTM的输出output是两个方向结果的concat形式 # num_directions=0, 表示前向结果 # num_directions=1, 表示反向结果 output.view(seq_len, batch, num_directions, hidden_size) concat输出 参考 https://blog.youkuaiyun.com/qq_27061325/article/details/89463460 ...

源码 class LuongAttention(AttentionMechanism): """Implements Luong-style (multiplicative) attention scoring. This attention has two forms. The first is standard Luong attention, as described in: Minh-Thang Luong, Hieu Pham, Christopher D. Ma

tf.truncated_normal中方差stddev=1.0 / math.sqrt(output_size)，防止参数过大。如果学习不同特征的关系，因为要拉大差距，不需要考虑这一点。 对于单层神经网络：参数不能过大 对于深层神经网络：正则化防止过拟合 ...