Transformer——Q116 验证轻量级Transformer（Lite Transformer）的参数量-准确率权衡

该问题归类到Transformer架构问题集——架构变体——高效架构。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景：在 “瘦身” 与 “性能” 间寻找平衡

随着 Transformer 在自然语言处理、计算机视觉等领域的广泛应用，模型规模不断膨胀。GPT-3 拥有 1750 亿参数，PaLM 2 参数量也高达数十亿，虽然这些 “巨无霸” 模型在任务中表现优异，但它们对算力、存储的要求极高，难以部署在手机、智能家居等资源受限设备上。就像驾驶一辆重型卡车虽然动力强劲，但在狭窄小巷中却寸步难行。

轻量级 Transformer（Lite Transformer）的出现，正是为了解决这一矛盾。它试图通过减少参数量来降低计算成本，同时保持较高的准确率。但这里存在一个关键问题：参数量的减少必然会牺牲一定的模型表达能力，如何在参数量与准确率之间找到最佳平衡点？这需要我们深入剖析 Lite Transformer 的技术原理，以及通过大量实验验证其权衡关系。

2. 技术原理：轻量级设计如何实现 “瘦身”

Lite Transformer 通过多种技术手段减少参数量，同时尽量保持模型性能，其核心方法包括：

2.1 架构简化：精简不必要的结构