自然语言处理:第三十七章 RAFT=微调SFT+RAG

文章链接: [2405.09673] LoRA Learns Less and Forgets Less (arxiv.org)

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!
写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

这是一篇来自哥伦比亚大学和databricks对Lora 和FineTuning 更深一步的研究。有关于Lora可以参考我之前的文章: 自然语言处理: 第十二章LoRA解读_lora自然英语处理-优快云博客 有关于fine_tuning 可以参考自然语言处理: 第七章GPT的搭建_gpt decoder only-优快云博客 。 在本文中，Low-Rank Adaptation (LoRA)的参数高效微调方法，该方法特别适用于大型语言模型（LLMs）。LoRA通过仅训练选定权重矩阵的低秩扰动来节省内存，从而在编程和数学等目标领域上进行了LoRA和全面微调的性能比较。我们发现，尽管在大多数设置中，LoRA的性能略低于全面微调，但LoRA展现出了一种理想的正则化形式：它在目标领域之外的任务上更好地维持了基础模型的性能。此外，LoRA提供了比常见的正则化技术（如权重衰减和丢弃法）更强的正则化效果，并有助于维持更多样化的生成。最后，我们提出了使用LoRA进行微调的最佳实践。