GuiBin1的博客

大模型虽然表现出了非常强大的能力，但也遇到了如幻觉、知识过时及推理过程不透明以及无法追踪等问题。而检索增强生成则可以通过整合来自外部知识库的知识从而有效的解决上述问题，并且可以提高生成的准确性和可信度，特别是对于知识密集型任务，能够允许持续的知识更新和特定领域信息的集成。RAG能够将大模型的内在知识与外部数据库的庞大的、动态的存储库结合起来，从而能够有效的解决上面的问题。

低秩自适应（LoRA）是一种利用可插拔的低秩矩阵更新密集神经网络的方法，是参数效率最高的微调方法之一。此外，它在跨任务和隐私保护方面也有着显著的优势。因此，LoRA近来备受关注，相关文献数量成指数级增长。下游适应改进变量，可提高LoRA在下游任务中的性能；跨任务泛化方法，混合多个LoRA插件以实现跨任务泛化；效率改进方法，提高LoRA计算效率的方法；在联合学习中使用LoRA的数据隐私保护方法；应用。此外，这篇论文还讨论了这个领域的未来发展方向。

Prompt Tuning是一种简单有效的机制，主要用于学习“软提示”，使冻结语言模型能够执行特定的下游任务。与GPT-3使用的离散文本提示不同，软提示是通过反向传播来学习的，并且可以进行调整，以合并来自任意数量标记示例的信号。这是一种端到端的学习，对应的效果比GPT-3中采用的少样本学习方法有好很多。

自然语言处理的一个重要范例是在一般领域数据上进行大规模预训练，然后适应特定任务或领域。而随着预训练模型越来越大，重新训练所有模型参数的全面微调就变得不可行了。作者提出了低秩自适应技术，可以冻结预训练模型的权重，并将可训练的秩分解矩阵注入Transformer的每一层，从而大大减少下游任务的可训练参数量。与使用Adam进行微调的GPT-3 175B相比，LoRA可将可训练参数量降低10,000倍，GPU内存需求减少3倍。LoRA在RoBERTaDeBERTaGPT-2和GPT-3。

随着大语言模型（LLM）显示出显著的智能性，利用LLM作为自主代理的规划模块的进展引起了更多的关注。这篇论文系统性的介绍了基于LLM的代理规划，涵盖了近期提高规划能力的工作。对每个方向进行了全面分析，并讨论了该研究领域面临的进一步挑战。

语言模型预训练。将一个大型多语言文本语料库转换为离散的标记，然后在由此产生的数据上预训练一个大型语言模型，以执行下一个标记的预测。在训练过程中使用了8K标记的上下文窗口，在15.6Ttoken上预训练了一个拥有405B参数的模型。在标准预训练之后，还会继续进行预训练，将支持的上下文窗口增加到128k tokens。语言模型后训练。预训练后的语言模型对语言有丰富的理解，但还不能按照期望的方式来执行指令或行为。在这一阶段将分几轮根据人类的反馈微调模型，每一轮都包括在指令微调数据基础上进行监督微调（SFT）。