Transformer数学推导——Q49 推导可学习位置插值(Learned Interpolation)的权重分配公式

该问题归类到Transformer架构问题集——位置编码——动态/自适应编码。请参考LLM数学推导——Transformer架构问题集

1. 可学习位置插值背景介绍

在大语言模型(LLM)的世界里,位置编码是帮助模型理解序列顺序和语义关系的重要工具。传统的位置编码方法,无论是绝对位置编码还是相对位置编码,都像是给模型戴上了一副固定度数的 “眼镜”,在面对不同长度、不同结构的文本时,难以做到精准适配。而可学习位置插值(Learned Interpolation)就如同为模型配备了一副 “智能变焦眼镜”,能够根据文本的特点,动态调整位置编码的权重分配,让模型对位置信息的理解更加灵活、准确。接下来,我们就深入推导这一技术中权重分配公式的奥秘。

2. 理论推导:可学习位置插值权重分配公式的深度剖析

2.1 基础概念与符号定义

假设我们有一个长度为 n 的文本序列,传统的位置编码会为每个位置 i(i = 1, 2, \cdots, n)生成一个位置编码向量 p_i。在可学习位置插值中,我们从这些位置编码向量中选取 m 个作为基础向量,记为 \{p_{i_1}, p_{i_2}, \cdots, p_{i_m}\},其中 i_1, i_2, \cdots, i_m 是从 1 到 n 中选取的不同位置索引。

我们的目标是通过学习一组权重 \{\alpha_1, \alpha_2, \cdots, \alpha_m\},对这 m 个基础位置编码向量进行加权组合,得到一个新的位置编码向量 p,即:

### Transformer 模型公式推导过程详解 #### 输入表示 在Transformer模型中,输入序列首先被转换成向量形式。对于每一个位置上的token,其对应的嵌入向量由两部分组成:词嵌入(Token Embeddings)和位置编码(Positional Encoding)。这种设计使得即使并行处理所有tokens也能保留它们的位置信息[^1]。 ```python import numpy as np def get_position_encoding(seq_len, d_model): position_enc = np.array([ [pos / np.power(10000, 2 * (i // 2) / d_model) for i in range(d_model)] for pos in range(seq_len)]) position_enc[:, 0::2] = np.sin(position_enc[:, 0::2]) # apply sin to even indices position_enc[:, 1::2] = np.cos(position_enc[:, 1::2]) # apply cos to odd indices return position_enc ``` #### 自注意力机制 自注意力层允许每个position与其他positions交互来计算新的特征表达。具体来说,在给定查询Q、键K以及值V的情况下,通过下面的公式可以得到加权求和的结果作为输出: \[ \text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}} \right)V \] 其中\( Q=WK^qX,\; K=W_K^k X ,\; V=W_V^v X\) ,这里W代表权重矩阵,X则是输入embedding加上位置编码后的结果[^2]。 #### 前馈神经网络 每一层还包含了一个简单的前馈全连接网络应用于各自的子空间内独立操作: \[ FFN(x)=max(0,x W_1+b_1)W_2+b_2 \] 这一步骤有助于引入非线性特性到模型架构之中。 #### 编码器-解码器结构 Encoder接收原始句子并通过多层堆叠上述组件形成上下文理解;Decoder则基于encoder产生的中间表征逐步生成目标语言表述。两者之间通过masked multi-head attention防止decoder提前看到未来的信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨顿

唵嘛呢叭咪吽

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值