Attention及相关变体
Transformer 架构
原理
代码 + 复杂度分析
位置编码
MHA
原理
代码 + 复杂度分析
MQA
原理
代码 + 复杂度分析
GQA
原理
代码 + 复杂度分析
MLA
原理
代码 + 复杂度分析
MLA + RoPE
Attention及相关变体
Transformer 架构
原理
代码 + 复杂度分析
位置编码
MHA
原理
代码 + 复杂度分析
MQA
原理
代码 + 复杂度分析
GQA
原理
代码 + 复杂度分析
MLA
原理
代码 + 复杂度分析
MLA + RoPE