Prompt、RAG、微调还是重新训练?怎样选择正确的生成式AI的使用方法

  • Prompt Engineering
  • Retrieval Augmented Generation (RAG 检索增强生成)
  • 微调
  • 从头开始训练基础模型(FM)

本文将试图根据一些常见的可量化指标,为选择正确的生成式人工智能方法提供建议。

本文不包括“使用原模型”的选项,因为几乎没有任何业务用例可以有效地使用基础模型。按原样使用基础模型可以很好地用于一般搜索,但对于任何特定的用力,则需要使用上面提到的选项之一。

如何执行比较?

基于以下指标:

  • 准确性(回答有多准确?)
  • 实现复杂性(实现可以有多复杂?)
  • 投入工作量(需要多少工作的投入来实现?)
  • 总成本(拥有解决方案的总成本是多少?)
  • 灵活性(架构的耦合有多松?更换/升级组件有多容易?)

我们将对这些度量标准上的每个解决方案方法进行评级,进行一个简单的对比。

准确性

让我们首先得到讨论最总要的一点:哪种方法提供最准确的响应?

Prompt Engineering就是通过提供少量示例提供尽可能多的上下文,以使基础模型更好地了解用例。虽然单独来看,结果可能令人印象深刻,但与其他方法相比,它产生的结果最不准确。

RAG产生了高质量的结果,因为它增加了直接来自向量化信息存储的特定于用例的上下文。与Prompt Engineering相比,它产生的结果大大改善,而且产生幻觉的可能性非常低。

微调也提供了相当精确的结果,输出的质量与RAG相当。因为我们是在特定领域的数据上更新模型权重,模型产生更多的上下文响应。与RAG相比,质量可能稍微好一些,但这取决于具体实例。所以评估是否值得花时间在两者之间进行权衡分析是很重要的。一般来说,选择微调可能有不同的原因,而不仅仅是精度。还包括数据更改的频率、在自己的环境中控制模型实现法规、遵从性和可再现性等目的等等。

从头开始的训练产生了最高质量的结果(这是肯定的)。由于模型是在用例特定数据上从零开始训练的,所以产生幻觉的几率几乎为零,输出的准确率也是比较中最高的。

实现的复杂性

除了准确性以外,另外一个需要关注的就是实现这些方法的难易程度。

Prompt Engineering具有相当低的实现复杂性,因为它几乎不需要编程。需要具备良好的英语(或其他)语言技能和领域专业知识,可以使用上下文学习方法和少样本学习方法来创建一个好的提示。

RAG比Prompt Engineering具有更高的复杂性,因为需要编码和架构技能来实现此解决方案。根据在RAG体系结构中选择的工具,复杂性可能更高。

微调比上面提到的两个更复杂,因为模型的权重/参数是通过调优脚本更改的,这需要数据科学和ML专业知识。

从头开始训练肯定具有最高的实现复杂性,因为它需要大量的数据管理和处理,并且训练一个相当大的模型,这需要深入的数据科学和ML专业知识。

工作量投入

实现的复杂性和工作量并不总是成正比的。

Prompt Engineering需要大量的迭代努力才能做到正确。基础模型对提示的措辞非常敏感,改变一个词甚至一个动词有时会产生完全不同的反应。所以需要相当多的迭代才能使其适用于相应的需求。

由于涉及到创建嵌入和设置矢量存储的任务,RAG也需要很多的工作量,比Prompt Engineering要高一些。

微调则比前两个要更加费力。虽然微调可以用很少的数据完成(在某些情况下甚至大约或少于30个示例),但是设置微调并获得正确的可调参数值需要时间。

从头开始训练是所有方法中最费力的方法。它需要大量的迭代开发来获得具有正确技术和业务结果的最佳模型。这个过程从收集和管理数据开始,设计模型体系结构,并使用不同的建模方法进行实验,以获得特定用例的最佳模型。这个过程可能会很长(几周到几个月)。

总成本

我们讨论的不仅仅是服务/组件花费,而是完全实现解决方案的成本,其中包括熟练工程师(人员),用于构建和维护解决方案的时间,其他任务的成本,如自己维护基础设施,执行升级和更新的停机时间,建立支持渠道,招聘,提高技能和其他杂项成本。

Prompt Engineering的成本是相当低的,因为需要维护的只是提示模板,并在基础模型版本更新或新模型发布时时保持它们的最新状态即可。除此之外,托管模型或通过API直接使用还会有一些而额外的成本。

由于架构中涉及多个组件,RAG 的成本要比Prompt Engineering略高。这取决于所使用的嵌入模型、向量存储和模型。因为在这里需要为3个不同的组件付费。

微调的成本肯定要高于前两个,因为调整的是一个需要强大计算能力的模型,并且需要深入的ML技能和对模型体系结构的理解。并且维护这种解决方案的成本也会更高,因为每次有基本模型版本更新或新数据批次进入时都需要调优。

从头开始训练无疑是成本最高的,因为团队必须拥有端到端数据处理和ML训练、调优和部署能力。这需要一群高技能的机器学习从业者来完成。维护这种解决方案的成本非常高,因为需要频繁的重新训练周期来保持模型与用例周围的新信息保持同步。

灵活性

我们来看看在简化更新和更改方面的是什么情况

Prompt Engineering具有非常高的灵活性,因为只需要根据基础模型和用例的变化更改提示模板。

当涉及到架构中的更改时,RAG也具很最高程度的灵活性。可以独立地更改嵌入模型、向量存储和LLM,而对其他组件的影响最小。它还可以在不影响其他组件的情况下在复杂授权等流程中添加更多组件。

微调对更改的灵活性非常低,因为数据和输入的任何更改都需要另一个微调周期,这可能非常复杂且耗时。同样,将相同的微调模型调整到不同的用例也需要很多的工作,因为相同的模型权重/参数在其他领域的表现可能比它所调整的领域差。

从头开始训练的灵活性最低的。因为模型是从头构建的,对模型执行更新会触发另一个完整的重新训练周期。我们也可以微调模型,而不是从头开始重新训练,但准确性会有所不同。

总结

从以上所有的比较中可以明显看出,没有明显的输赢。因为最终的选择取决于设计解决方案时最重要的指标是什么,我们的建议如下:

当希望在更改模型和提示模板方面具有更高的灵活性,并且用例不包含大量域上下文时,可以使用Prompt Engineering。

当想要在更改不同组件(数据源,嵌入,FM,矢量引擎)方面具有最高程度的灵活性时,使用RAG,这样简单并且可以保持输出的高质量(前提是你要有数据)。

当希望更好地控制模型工件及其版本管理时,可以使用微调。尤其是领域特定术语与数据非常特定时(如法律、生物学等),它也很有用。

当以上都不适合的时候,可以从头开始训练。既然觉得上面的方案准确性都不够高,所以就需要有足够的预算和时间来做的更好。

总而言之,选择正确的生成AI方法需要深入思考并评估可接受和不可接受的指标。甚至是根据不同的时期选择不同的方案。

程序员为什么要学大模型?

大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等问题热议不断。

事实上,抢你饭碗的不是AI,而是会利用AI的人。

科大讯飞、阿里、华为等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?

与其焦虑……

不如成为「掌握AI工具的技术人」,毕竟AI时代,谁先尝试,谁就能占得先机!

但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)

在这里插入图片描述

LLM大模型学习路线

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。

  • 内容

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。

  • 内容

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。

  • 内容

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。

  • 内容

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)👈

<think>首先,用户的问题是基于系统级指令和提供的引用内容。用户的问题是:“我想了解AI领域中RAGprompt的含义 请问AIRAGprompt的含义解释”。 回顾系统级指令: - 所有行内数学表达式必须使用$...$格式,但这里没有数学内容,所以不需要。 - 独立公式必须使用$$...$$格式,但问题中没有公式。 - LaTeX语法正确:确保如果使用数学表达式,要正确。 - 使用中文回答:整个响应必须使用中文。 - 生成相关问题:在回答后生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识:例如 [^1],[^2] 等。 - 参考站内引用:用户提供了多个引用,我需要参考这些内容来回答。 用户提供的引用: - [^1]:RAG × Prompt 的联动方式,解释了RAG系统中Prompt的链式结构。 - [^2]:RAG+PromptAI编程中的应用。 - [^3]:AIPromptRAG的区别。 - [^4]:RAGPrompt动态选择的三种方式。 - [^5]:结合RAG微调的策略。 用户的问题焦点是解释AI领域中RAGPrompt的含义。所以,我需要基于这些引用,提供一个清晰、结构化的解释。 结构化响应: - 回答应该结构清晰,逐步解决问题。 - 确保真实可靠:基于引用内容,避免编造信息。 关键点从引用中提取: - Prompt(提示词):用于引导大型语言模型LLM)的输出,解决弊端如输出太空泛或不相关。[^3] - RAG(检索增强生成):结合检索模型LLM,通过检索相关信息来增强生成过程。涉及知识库的使用。[^2], [^5] - 区别:Prompt是直接提示模型RAG是检索外部信息后再生成。[^3] - 联动:在RAG系统中,Prompt有多个阶段,控制召回、文本处理、问题聚焦和回答生成。[^1] - 结合:RAGPrompt可以结合,例如在动态Prompt选择中。[^4], [^5] 响应大纲: 1. **介绍RAG的含义**:解释RAG是什么,基于引用定义。 - RAG(检索增强生成):在生成模型过程中,从外部知识库检索相关信息来增强生成质量。[^2], [^5] 2. **介绍Prompt的含义**:解释Prompt是什么。 - Prompt:提示词,用于指导LLM的输出,使其更精准、符合预期。[^3] 3. **解释区别和关系**:基于引用[^3],讨论两者的区别和如何结合。 - 区别:Prompt是内部提示,RAG涉及外部检索。 - 关系:在RAG系统中,Prompt被用于多个阶段来控制行为。[^1], [^4] 4. **简要举例或应用**:简要提到应用,如AI编程中的需求拆解。[^2] 5. **生成相关问题**:在结束时生成相关问题,使用“§§相关问题§§”格式。 确保引用标识: - 在回答中,每当引用特定内容时,在段落末尾添加[^n]。 - 例如,解释Prompt时引用[^3],解释RAG时引用[^2]。 最终响应结构: - 开头:直接回答用户问题。 - 中间:分点解释RAGPrompt。 - 结尾:生成相关问题。 相关问题生成: - 基于主题,如: 1. RAG的具体应用场景有哪些? 2. 如何设计有效的Prompt3. RAGPrompt结合的优势是什么? 4. PromptRAG中的不同角色是什么? 全部用中文。 </think>### AI领域中RAGPrompt的含义解释 在AI领域,RAG(检索增强生成)和Prompt(提示词)是两个核心概念,它们广泛应用于大型语言模型LLM)任务中,以提高生成输出的准确性、相关性和效率。以下我将基于您的查询和参考引用,逐步解释它们的含义、区别和关系。 #### 1. **Prompt(提示词)的含义** - **定义**:Prompt是用户或系统提供给LLM的输入指令,用于引导模型的输出方向和内容。它通过特定的语言提示(例如问题描述、关键词或格式要求),帮助模型生成更精准、符合预期的响应,而避免输出太空泛、不相关或格式错误的问题。例如,在软件开发中,Prompt可以用于指导LLM拆解业务需求,确保输出结构化。[^3] - **核心作用**:Prompt充当LLM的“导航器”,它可以控制输出的行为风格(如正式或简洁)、结构(如列表或段落)和内容焦点。例如,在RAG系统中,Prompt被设计为链式结构,分阶段处理召回、文本摘要和问题聚焦等任务。[^1] - **简单示例**:如果您问LLM“请解释量子力学”,一个有效的Prompt可能是“以通俗易懂的语言列出量子力学的三个关键概念”,这减少歧义并提升回答质量。 #### 2. **RAG(检索增强生成)的含义** - **定义**:RAG是一种结合检索模型和生成模型AI技术,它在生成响应前,先从外部知识库(如文档、数据库)检索相关信息,然后将检索结果作为上下文输入LLM,以增强生成的准确性和知识覆盖。RAG特别适用于知识密集型任务,如编程辅助或业务需求分析,通过外部数据解决LLM的“知识局限”(如过时或专有信息)。[^2][^5] - **核心作用**:RAG通过检索机制扩展LLM的能力,使其能访问实时或特定领域的知识。这个过程包括:召回相关文档、处理文本(如摘要或重写以减少token占用),并生成最终的响应。例如,在腾讯云AI代码助手中,RAG用于检索业务需求文档,帮助LLM高效拆解复杂需求。[^2] - **简单示例**:如果用户问“如何实现分布式系统”,RAG会先检索知识库中的相关文档(如架构设计指南),然后LLM基于这些文档生成结构化代码或解决方案。 #### 3. **RAGPrompt的区别与关系** - **区别**: - **Prompt**:主要关注内部提示控制,直接作用于LLM输入层,解决输出格式或清晰度问题,不涉及外部检索。例如,Prompt可用于提升问题聚焦,防止歧义询问。[^3] - **RAG**:强调外部信息增强,涉及检索知识库后再生成响应,弥补LLM的知识不足。例如,RAG适用于需要实时数据的场景,如编程需求拆解。[^2][^5] - 简单说:Prompt是“内部指令”,而RAG是“外部增强框架”。 - **关系**:在RAG系统中,PromptRAG紧密结合,形成链式工作流。Prompt被用于多个阶段: - **召回阶段**:控制检索的数量、长度或时效(如Prompt指定召回最近三年的文档)。[^1] - **生成阶段**:引导LLM基于检索内容输出结构化答案,例如绑定引用以确保可靠性。[^1][^4] - 此外,RAG可以动态选择Prompt模板(基于条件路由),以优化性能。[^4] 结合Prompt微调(fine-tuning)策略,能进一步提升LLM在特定任务上的表现。[^5] #### 4. **应用场景简述** - **Prompt的应用**:常用于简单交互任务,如聊天机器人或文本生成,其中输出格式需严格控制。[^3] - **RAG的应用**:广泛用于复杂、知识密集型领域,如AI编程(腾讯云案例中用于需求拆解)、医疗咨询或法律文档分析,通过检索确保回答的权威性和实时性。[^2] 总之,Prompt是基础提示机制,而RAG是增强型框架;在实际AI系统中,二者常协同工作,以提升整体效能。如果您有特定场景的疑问,欢迎进一步说明!
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值