QLoRA 是你所需要的（快速轻量级模型微调）

Q-Laura：让AI更有趣、更个性化的低成本训练方法

当前的AI对话往往冷冰冰、无聊、缺乏个性。人们渴望拥有更有趣、更个性化的AI，但训练一个既实用又有趣的AI模型需要大量数据和资源，成本高昂。

微软研究院的Laura（低秩适配器）技术为解决这一难题提供了新的思路。该技术基于Meta早期的研究成果，利用预训练模型的降维特性，在微调过程中更新压缩后的权重矩阵，大幅降低训练参数量。

Laura 技术将原始的10,000 x 10,000权重矩阵分解为两个更小的矩阵 A (10,000 x 10) 和 B (10 x 10,000)，从而将参数量从1亿减少到20万。通过矩阵乘法 A ⋅ B，可以得到与原始权重矩阵相同的Delta权重矩阵。

Laura 技术不仅大幅降低了训练计算量，也减少了内存需求。华盛顿大学的研究人员在此基础上引入了量化技术，进一步降低了模型精度，使训练过程更加轻量化。

Q-Laura 技术的出现为打造更有趣、更个性化的AI模型提供了高效、低成本的解决方案，其开源代码和相关资料已发布在GitHub上，方便开发者进行学习和应用。

学习和分享我使用 QLoRA（量化低秩适配器）微调的过程。在本例中，我使用了一个自定义的 Reddit 数据集，但您可以使用任何您想要的数据集。我在这段视频中参考了很多内容，我会尽力链接所有内容，但如果我遗漏了任何内容，请告诉我。资源：WSB-GPT-7B 模型：https://huggingface.co/Sentdex/WSB-GPT-7BWSB-GPT-13B 模型：https://huggingface.co/Sentdex/WSB-GPT-13BWSB 训练数据：https://huggingface.co/datasets/Sentdex/wsb_reddit_v002代码：QLoRA 仓库：https://github.com/artidoro/qloraqlora.py：https://github.com/artidoro/qlora/blob/main/qlora.py简单的 qlora 训练笔记本：https://colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharingqlora 合并/反量化代码：https://gist.github.com/ChrisHayduk/1a53463331f52dca205e55982baf9930参考研究论文：内在维数解释了语言模型微调的有效性：https://arxiv.org/abs/2012.13255LoRA：大型语言模型的低秩适应：https://arxiv.org/abs/2106.09685QLoRA：量化 LLM 的高效微调：https://arxiv.org/abs/2305.14314Yannic 的 GPT-4chan 模型：https://huggingface.co/ykilcher/gpt-4chan谴责信：https://docs.google.com/forms/d/e/1FAIpQLSdh3Pgh0sGrYtRihBu-GPN7FSQoODBLvF7dVAFLZk2iuMgoLw/viewformhttps://www.youtube.com/watch?v=efPrtcLdcdM内容：0:00 - 为什么选择 QLoRA？0:55 - LoRA/QLoRA 研究4:13 - 微调数据集11:10 - QLoRA 训练过程15:02 - QLoRA 适配器17:10 - 合并、反量化和分享19:34 - WSB QLoRA 微调模型示例从零开始的神经网络书籍：https://nnfs.io