tf.contrib.seq2seq.BahdanauAttention函数和tf.contrib.seq2seq.LuongAttention函数学习

最新推荐文章于 2025-01-29 05:00:00 发布

hkzmz

最新推荐文章于 2025-01-29 05:00:00 发布

阅读量4k

点赞数

分类专栏： tensorflow 文章标签： attention BahdanauAttention Bahdanau

本文链接：https://blog.youkuaiyun.com/hkzmz/article/details/80069152

版权

这篇博客介绍了TensorFlow中BahdanauAttention和LuongAttention两种注意力机制，包括它们的计算公式和应用场景。BahdanauAttention通过加权平均编码器的隐含层来计算注意力权重，而LuongAttention则提供了归一化的改进。文章还提到了这两个方法在源码中的实现，并引用了相关论文作为深入学习的参考资料。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.contrib.seq2seq.BahdanauAttention（）

__init__(
    num_units,
    memory,
    memory_sequence_length=None,
    normalize=False,
    probability_fn=None,
    score_mask_value=None,
    dtype=None,
    name='BahdanauAttention'
)