2.4 注意力机制：从神经科学到Transformer霸权的技术革命

注意力机制：从神经科学到Transformer的技术革命

---

一、生物学启示：人类注意力的计算建模之路

1.1 视觉注意力机制的神经科学基础

灵长类视觉皮层研究揭示：

神经元对感兴趣区域（ROI）的响应强度提升3-5倍 信息处理效率提高10倍（相比均匀处理）

计算建模公式：

Attention_Weight(i) = e^{S(I_i)} / ∑_j e^{S(I_j)}  
其中S()为显著性函数，I_i为输入特征  

---

二、自注意力机制：Transformer的核心引擎

2.1 标准自注意力数学解析

核心公式分解：

def scaled_dot_product_attention(Q, K