对attention的简单理解 首先，令 V = { v 1 , . . . , v ∣ V ∣ } \mathcal{V} = \{v_1,...,v_{|\mathcal{V}|}\} V={ v1,...,v∣V∣}， v i ∈ R d v_i \in \mathbb{R}^d vi∈Rd为item的向量表达；令 f : R d ∗ d → R f: \mathbb{R}^{d*d} \rightarrow \mathbb{R} f:Rd∗d→R 或者
本文介绍了注意力机制的基本概念，包括如何通过不同方式计算attention权重，如直接映射、与query对比映射和self-attention，并引用了'Attention is All You Need'作为参考。
最低0.47元/天 解锁文章
扫一扫
800
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
