2025_NIPS_FFN Fusion: Rethinking Sequential Computation in Large Language Models

文章总结与翻译

一、主要内容

本文提出了一种名为FFN Fusion的架构优化技术，核心目标是通过挖掘大型语言模型（LLMs）中前馈网络（FFN）层的并行化潜力，减少推理过程中的串行计算，从而在不显著损失精度的前提下提升效率。

1. 技术背景：现有LLM因参数规模扩大（数百亿级）导致计算成本高、推理延迟长，传统优化方法（量化、剪枝、混合专家模型MoE）存在精度损失、硬件利用率低等局限。FFN Fusion针对Transformer架构中FFN层的结构冗余，提出全新并行化思路。
2. 核心原理：通过Puzzle框架移除部分注意力层后，剩余的连续FFN层间依赖度极低，可将其融合为单个宽FFN层，实现多GPU并行执行。融合过程通过权重矩阵拼接保证功能等价，同时减少跨设备通信和同步延迟。
3. 模型实例：基于Llama-3.1-405B-Instruct，通过注意力剪枝与FFN Fusion构建了Ultra-253B-Base模型（2530亿参数），在关键基准测试中性能持平或超越原模型，同时实现1.71倍推理加速、35倍每token成本降低，KV缓存内存减少50%。
4. 扩展验证：在Llama-3.1-70B、Llama-3.1-8B、Mistral Large 2等不同规模模型上验证了FFN Fusion的通用性，发现序列末尾的FFN层对融合更敏感，需单独保留以避免精度损失。