2025_NIPS_MemoryFormer : Minimize Transformer Computation by Removing Fully-Connected Layers

MemoryFormer 文章总结与核心内容翻译

一、文章主要内容

该研究针对大型语言模型（LLMs）中Transformer架构计算复杂度居高不下的问题，提出了一种新型Transformer变体——MemoryFormer。核心思路是重新分配计算与存储资源，通过替换Transformer中占比极高的全连接层（FC层）来大幅降低计算量（FLOPs），同时保持模型性能不降级。

关键背景与观察

1. 现有优化方案（如线性注意力、FlashAttention）多聚焦于多头注意力（MHA）操作，但实际应用中，当序列长度未超过隐藏层维度的6倍时，FC层（含前馈网络FFN）是计算量的主要来源（例如隐藏层维度d=4096时，需序列长度超24K才让MHA计算占优）。
2. 现有硬件系统中，CPU和RAM资源利用率极低（如NVIDIA DGX A100拥有2TB RAM和128个CPU核心），而GPU并行计算核心负载过高，存在资源分配失衡问题。

核心设计

1. Memory Layer（记忆层）：替代传统FC层，通过内存哈希表存储离散向量，利用局部敏感哈希（LSH）算法动态检索与输入嵌入相关的向量子集，经加权聚合后生成输出，近似FC层的矩阵乘法效果。
2. 分块哈希策略：将输入嵌入拆分为K个非重叠子向量，每个子向量对应独立哈希表，避免单一哈希表的内存爆炸问题（如d=h=512时，拆分后内存需求从约10¹⁴⁵T