【LLM大模型】大语言模型优化方法简介：Prompt、RAG、Fine-tuning

GPT、LLama、Gemini等大语言模型虽展现出强大能力，但在实际应用中仍有问题，例如在准确性、知识更新速度和答案透明度方面，仍存在挑战。

论文“Retrieval-Augmented Generation for Large Language Models: A Survey（面向大语言模型的检索增强生成技术：调查） ”
https://arxiv.org/abs/2312.10997 对解决这些问题的模型优化方法做了分类，如下图：

图：模型优化方法的比较，两个坐标轴分别是：对外部知识的需求和模型的适配复杂度。

附：这篇论文的中文翻译推荐看宝玉翻译的版本：
https://baoyu.io/translations/ai-paper/2312.10997-retrieval-augmented-generation-for-large-language-models-a-survey

一、Prompt Engineering 提示词工程

提示词工程可以分三个层次：

• 标准提示词
• Few-shot 少量示例提示词，通过提供少量的示例来让模型回答的更精准。
• XoT 提示词，例如 CoT（思维链），ToT（思维树），参看 使用思维链写Prompt

下面是一个 Few-shot prompt的示例：

A “whatpu” is a small, furry animal native to Tanzania. An example of a sentence that uses
the word whatpu is:
“whatpu”是坦桑尼亚的一种小型毛茸茸的动物。一个使用whatpu这个词的句子的例子是：

We were traveling in Africa and we saw these very cute whatpus.
我们在非洲旅行时看到了这些非常可爱的whatpus。

To do a “farduddle” means to jump up and down really fast. An example of a sentence that uses the word farduddle is:
“farduddle”是指快速跳上跳下。一个使用farduddle这个词的句子的例子是：

输出：

When we won the game, we all started to farduddle in celebration.
当我们赢得比赛时，我们都开始庆祝跳跃。

二、RAG 检索增强生成

检索增强生成（Retrieval-Augmented Generation, RAG） 特指一种模式：模型在回答问题或生成文本时，首先从广阔的文档库中寻找相关信息。然后，模型使用这些找到的信息来生成回答或文本，从而提高其预测的准确度。

论文中把RAG分成三种范式：

• Naive RAG 朴素RAG, 添加相关上下文
• Advanced RAG 高级RAG，在索引/检索前/检索后做优化
• Modular RAG 模块化RAG，有机组合多种模块

下图是三种RAG范式的比较

2.1、Naive RAG 朴素RAG

Naive RAG 的准备流程如下：

• 将文本分割成小块；
• 然后使用某种 Transformer Encoder 模型将这些小块转换为向量；
• 把这些向量汇总到一个索引中；

在使用时，创建一个针对大语言模型的提示，指导模型根据我们在搜索步骤中找到的上下文回答用户的查询。

下面是一个RAG例子，中文的prompt在注释里：

def question_answering(context, query):
    # 请回答后面用三个反引号 ```{query}```包围的问题，
    # 回答时参考用三个反引号 ```{context}```包围的参考信息。
    # 如果提供的上下文中没有相关信息，尝试自己回答，但要告诉用户你没有相关的上下文作为回答的依据。
    # 回答要简洁，输出的答案少于80个token。
    prompt = f"""
Give the answer to the user query delimited by triple backticks ```{query}```\
using the information given in context delimited by triple backticks ```{context}```.\
If there is no relevant information in the provided context, try to answer yourself,
but tell user that you did not have any relevant context to base your answer on.
Be concise and output the answer of size less than 80 tokens.
"""

    response = get_completion(instruction, prompt, model="gpt-3.5-turbo")
    answer = response.choices[0].message["content"]
    return answer

这种原始RAG在三个方面面临挑战：检索质量、回应生成质量和增强过程。

挑战1：检索质量

该方面的问题多方面。最主要的问题是低精度，即检索集中的文档块并不都与查询内容相关，这可能导致信息错误或不连贯。

其次是低召回率问题，即未能检索到所有相关的文档块，使得大语言模型无法获取足够的背景信息来合成答案。

此外，过时信息也是一个挑战，因为数据冗余或过时可能导致检索结果不准确。

挑战2：回应生成质量：

这方面的问题同样多样。最突出的问题是制造错误信息，即模型在缺乏足够上下文的情况下虚构答案。

另一个问题是回答不相关，即模型生成的答案未能针对查询问题。

进一步来说，生成有害或偏见性回应也是一个问题。

挑战3：增强过程：

最终，增强过程面临几个重要挑战。特别重要的是，如何将检索到的文段的上下文有效融入当前的生成任务。如果处理不得当，生成的内容可能显得杂乱无章。当多个检索到的文段包含相似信息时，冗余和重复成为问题，这可能导致生成内容的重复。

此外，如何判断多个检索到的文段对生成任务的重要性或相关性非常有挑战性，增强过程需要恰当地评估每个文段的价值。检索到的内容可能具有不同的写作风格或语调，增强过程需调和这些差异，以确保最终输出的一致性。

最后，生成模型可能会过度依赖于增强信息，导致生成的内容仅是重复检索到的信息，而缺乏新的价值或综合信息。

2.2、Advanced RAG 高级RAG

为了克服 Naive RAG 的局限性，高级 RAG 进行了针对性的改进。

比起 Naive RAG，增加了下面优化：

• “Pre-Retrieval”（检索前）优化，例如：细粒度数据清洗、添加文件结构以及查询重写/澄清等。
• “Post-Retrieval”（检索后）优化，从向量数据库检索后的优化，例如：重排序、过滤和提示压缩等。

2.3、Modular RAG 模块化RAG

高级 RAG 的实现比较复杂，因为需要额外开发很多功能，模块化 RAG 将这些功能模块解耦，并将其作为一个独立的模块，这样大大降低实现的复杂性，提升灵活性、效率、可扩展性。

具体来说，包含下面这些模块和模式：

2.3.1、Modules 新模块

• 图中外层包括“Search 搜索”、“Predict 预测”、“Memory 记忆”、“Criticize 评估”、“Demonstrate 验证”、“Fusion 对齐” 这六个模块。
• 内层是包括“Retrieve 检索”、“Rerank 重排序”、“Rewrite 重写”和“Read 阅读”过程的RAG（检索增强生成）模块。

2.3.2、Patterns 新模式

涉及多种信息处理流程，这些显示了系统处理信息并响应用户查询的不同路径。

• Navie RAG : Retrieve 检索 → Read 阅读
• Advanced RAG : Rewrite 重写 → Retrieve 检索 → Rerank 重排序 → Read 阅读
• DSP : Demonstrate 验证 → Search 搜索 → Predict 预测
• ITER - RETGEN : Retrieve 检索 → Read 阅读 → Retrieve 检索 → Read 阅读

三、Fine-tuning 微调

比RAG更复杂的就是微调了，微调方法是为了提高模型在特定任务上的表现，根据关注的焦点不同，分三种：

• 检索器微调专注于改进信息查找过程，
• 生成器微调专注于改进输出的质量，
• 协同微调则旨在优化这两个组件之间的协作。

3.1、Retriever Fine-tuning（检索器微调）

检索器是指模型中用来从大量数据中检索信息的部分，通常用于处理需要查找和利用外部知识的任务，如问答系统。

微调检索器就是对这部分模型进行特殊训练，使其更擅长从数据集中找到相关信息。

举个例子，就像在图书馆中训练一个图书管理员，使其更快地找到你需要的书。

3.2、Generator Fine-tuning（生成器微调）：

生成器是模型中负责产生响应或输出的部分，如文本生成模型中创建新文本的部分。

微调生成器意味着特别训练这个部分，使其在产生输出时更准确、更符合目标任务的要求。

例如，如果你想让模型写诗，你会特别训练它理解和使用诗歌的结构和韵律。

3.3、Collaborative Fine-tuning（协同微调）

这是一种更复杂的微调方法，涉及到模型中的检索器和生成器同时被调整，以更好地协同工作完成任务。

在协同微调过程中，检索器和生成器相互学习，以提高整体性能。检索器提供的信息可以帮助生成器产生更准确的输出，而生成器的需求可以引导检索器寻找更相关的信息。

可以想象成一个团队工作的情况，团队中的每个成员（检索器和生成器）都在相互学习，以更好地协作完成任务。

四、总结

大型语言模型（如GPT、LLama、Gemini）在准确性、知识更新速度和答案透明度方面存在挑战，常用的解决优化方法：Prompt Engineering（提示词工程）、Retrieval-Augmented Generation（RAG，检索增强生成）和Fine-tuning（微调）。每种方法都有不同的层次和特点。

Prompt Engineering：通过使用标准提示词、Few-shot提示词和XoT提示词（如CoT和ToT），来提高模型的回答精准度。

RAG：模型首先从文档库中寻找相关信息，然后使用这些信息来生成回答或文本。RAG分为三种类型：

• Naive RAG：添加相关上下文。
• Advanced RAG：在索引/检索前后进行优化。
• Modular RAG：组合多种模块。

Fine-tuning：涉及检索器微调、生成器微调和协同微调，旨在提高模型在特定任务上的表现。检索器微调专注于改进信息查找过程，生成器微调专注于改进输出质量，协同微调则优化这两个组件间的协作。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​