latex 公式转图片

最新推荐文章于 2025-11-14 17:41:25 发布

原创最新推荐文章于 2025-11-14 17:41:25 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Ｌａｔｅｘ

本文详细介绍了注意力机制中的关键计算过程，包括权重计算、归一化及上下文向量生成等步骤。通过数学公式展示了如何利用前一时刻的状态和输入序列来计算注意力权重，并据此形成当前状态。

http://latex.codecogs.com/gif.latex?{{e}_{ij}}={{v}_{a}}^{T}\tanh%20({{W}_{a}}{{s}_{i-1}}+{{U}_{a}}{{h}_{j}})

http://latex.codecogs.com/gif.latex?{{a}_{ij}}=\frac{\exp%20({{e}_{ij}})}{\sum\limits_{k=1}^{{{T}_{x}}}{\exp%20({{e}_{ik}})}}

http://latex.codecogs.com/gif.latex?{{c}_{i}}=\sum\limits_{j=1}^{{{T}_{x}}}{{{a}_{ij}}{{h}_{j}}}

http://latex.codecogs.com/gif.latex?{{s}_{i}}=f({{s}_{i-1}},{{y}_{i}},{{c}_{i}})

http://latex.codecogs.com/gif.latex?y=[{{y}_{1}},{{y}_{2}},...,{{y}_{{{T}_{y}}}}]

http://latex.codecogs.com/gif.latex?x=[{{x}_{1}},{{x}_{2}},...,{{x}_{{{T}_{x}}}}]