Transformer——Q131 分析Adafactor优化器的参数分解（Factorization）内存优势

该问题归类到Transformer架构问题集——训练与优化——优化器。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

随着大语言模型（LLM）的蓬勃发展，模型参数规模呈指数级增长。以 GPT - 3 为例，其拥有 1750 亿个参数。在训练如此庞大的模型时，内存资源面临着巨大挑战。传统优化器，如 Adam，在处理大规模参数时，需为每个参数存储一阶矩和二阶矩估计值，这使得内存占用随着参数数量的增加而急剧上升，导致训练可能因内存不足而无法进行或效率极低。因此，开发内存高效的优化器对于大规模 LLM 训练至关重要，Adafactor 优化器应运而生，其参数分解技术是降低内存占用的关键。