mistydou的博客

提出了一种高效的模型压缩方法，称为MiniLM通过 深度自注意力蒸馏（来压缩大规模预训练语言模型MiniLM通过教师模型最后一层的自注意力分布 和 值关系指导学生模型的训练学生模型无需与教师模型层数或隐藏维度严格匹配，实现了更高的灵活性和效率。研究背景LLM在性能上表现优异，但它们通常包含数亿甚至数十亿参数：对硬件资源要求高、训练慢现有模型压缩技术的不足​​​​​​​参数剪枝：降低了部分参数的复杂性，但可能会显著影响模型性能。

传统的预训练语言模型，如BERT，虽然在自然语言处理任务中取得了显著进展，但由于其计算开销大，难以在资源有限的设备上高效执行为了解决这个问题，TinyBERT提出了一个新颖的蒸馏方法，专门针对基于的模型进行知识蒸馏。通过这种方法，大型BERT模型中蕴含的丰富知识可以有效地转移到较小的学生模型TinyBERT上。实验结果表明，TinyBERT44层模型）能够达到BERTBASE在GLUE基准测试中的96.8%的性能，同时在模型大小和推理速度上有显著优化：模型体积缩小了。

提出了一种高效的参数微调方法，旨在解决对大规模预训练语言模型进行全参数微调时的高成本问题。LoRA通过在架构的每层中注入可训练的低秩分解矩阵，减少了下游任务训练时所需的可训练参数数量，同时保持预训练模型的权重冻结。这种方法在降低计算和内存需求的同时，能够在性能上与全参数微调相媲美甚至超越例子说明：相比使用Adam优化器进行微调的GPT-3 175B模型，LoRA能够将可训练参数数量减少10,000倍，同时将GPU内存需求降低3倍。研究背景。

abstractGPT-2是一个参数量为1.5B的transformer，在zero-shot设定下，在8个测试语言建模数据集中，有7个取得了最先进的结果最主要的贡献是在没有使用微调的情况下，在参数量更大的模型进行预训练，通过prompt和预测层在多个任务中达到SOTA。

abstract在未标记文本语料库上对语言模型进行生成式预训练，然后对每个特定任务进行区分性微调。method训练过程包括两个阶段。第一阶段是在大型文本语料库上进行自监督训练。第二阶段在带标签数据进行微调。