本文深入探讨了2017年NIPS会议上Google提出的Transformer模型，该模型摒弃了传统的RNN和CNN，完全依赖于Self-Attention机制。通过Self-Attention，Transformer能够更好地捕捉长距离依赖，并实现高效的并行计算。文章详细介绍了Encoder和Decoder的结构，包括Self-Attention层、FFNN层以及残差连接与层归一化。Decoder部分的Self-Attention和Encoder-Decoder Attention层确保了模型能够关注输入序列的相关信息，从而生成准确的输出。
[2017-NIPS-GOOGLE] Attention is all your need
论文地址：
https://arxiv.org/pdf/1706.03762.pdf
主要方法
抛弃使用Recurrent 和convolutional neural networks的结果。 只使用Self-Attention结构。优点：
1, 效果更好, 来自能够更好的捕捉long-range dependencies,
2, 更好的并行化.
3, 训练速度更快.
结构:
包含encoder 和的decoder两个部分. encoder可以有很多层, decoder也可以有很多层.
Encoder
encoder包含两个部分. 一个Self-Attention组件, 一个全连接ffnn(feed forward neural network)层.
Self-Attention
一个句子中的所有词( m m m个)的embedding假设为: X n ∗ u = ( x 1 , x 2 , . . . x n ) X_{n*u}=(x_1, x_2, ... x_n) Xn∗u=(x1,x2,...xn), x i x_i xi为 u u u维.
需要将所有的词转换出3个向量:
Q = ( q 1 , q 2 , . . . q n ) T Q=(q_1,q_2,...q_n)^T Q=(q1,q2,...qn)T 使用转换矩阵 W q ∈ R u ∗ z W_{q\in R^{u*z}} Wq∈Ru∗z, Q = X W q Q=X W_q Q=XWq, q i q_i qi维度为 d q d_q dq.
K = ( k 1 , k 2 , . . . k n ) T
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
