何时何地,你需要提示工程、函数调用、RAG还是微调大模型?

企业落地大模型的路径选择:微调、RAG、提示词工程 与传统应用不同,模型的输出是不确定的,即使多次问它一样的问题,给出的结果也可能不一样。这种特性对于日常应用业务 OK,但是如果要在企业内用来处理具体业务问题,就必须提高这个稳定性,否则影响生产经营,例如产线操作人员通过模型获取操作步骤或者参数,如果步骤或者数据不对可能会导致产品出现质量问题等等。模型一旦训练好,就无法再补充数据,因此模型不会了解你自己组织内部的年假规定,注意事项。如何让大模型掌握这些数据是另外一个需要解决的问题。 阅读详情

介绍

在快速发展的生成式人工智能领域,某些流行术语已变得司空见惯:“提示工程”、“函数调用”、“RAG”和“微调”,你应该也经常遇到这些术语,但你是否能够理清这些概念之间的关系?这些其实都是一些大模型的应用策略和技术,本文将描述每个 LLM 策略的作用以及它们之间的关系,并简单介绍如何在它们之间选择最佳的用例。

回顾 LLM 的运作方式

在进一步讨论之前,让我们简单回顾一下 LLM 如何产生输出结果。

通俗地说,这就像完成完形填空一样:

  • 给定一个单词序列,LLM 会查阅词典中的所有单词,并评估每个单词作为下一个单词出现的可能性

  • 最有可能的单词将被选中并用于填空

  • 重复上述步骤,直到没有更多空间可以填写

图片

LLM 如何产生结果

更深入地,为了进行这些“完形填空”,LLM经历了一个训练过程,即阅读所有人类知识并记录将每个 token 视为下一个 token 的可能性。(注意:1 个 token 代表一个或多个单词)

LLM 生成“完形填空”测试结果的过程就是“推理”过程。

训练和推理是使LLM能够按预期发挥作用的两个核心过程。

这也解释了为什么有时 LLM 会自信地说错话——它所训练的人类知识可能没有包含我们希望它谈论的主题的足够信息。

因此,为了使 LLM 能够正常运作,我们需要向 LLM 提供更多有关主题的背景有用信息。

所有策略,包括函数调用、RAG 和微调都是围绕这一点展开的。它们是为 LLM 提供更多上下文有用信息的不同方法。

这些策略有哪些?它们之间有何关系?

  1. 纯粹的提示

    图片

第一个策略是纯粹的提示。从名称上就可以看出这个策略是如何运作的:

  • 你向 LLM 发出查询
  • LLM 给出了答案

这其实就是“聊天”。你和 LLM 聊天就像和另一个人聊天一样。

当我们与 LLM 驱动的聊天机器人(例如 ChatGPT、Gemini 和 Copilot)聊天时,我们每天都会使用此策略。

2.代理+函数调用

图片

第二种策略是 Agent 加函数调用。

此策略的工作原理如下:

  • 你向 LLM发出查询

  • LLM 不会直接回答你,而是会参考给定的工具包,从中选择一个工具来先执行一些任务

    为什么 LLM 会这样做?可能是因为它需要一些额外的信息,或者在回答你的问题之前需要满足一些先决条件。

    这里的工具包是预先编写的函数或 API 调用的列表

    LLM 将决定它想要使用的工具,并返回该工具的名称(即函数名称)

  • 收到工具名称(函数名称)后,使用该工具(即调用函数)执行LLM所需的任务,并获取一些有用的信息。

  • 您将有用的信息传回给 LLM,LLM 会使用它来生成对您原始查询的响应

如果这听起来仍然很抽象,让我们举一个例子:

  • 你以旅行社的身份向 LLM 发出查询,例如“为我规划一次即将到来的圣诞节假期巴厘岛之旅”
  • LLM 认为,为了给你安排一个好的旅行,它首先需要你的预算信息。它参考了包含 get_budget()、get_destination_info()、get_weather() 等多个工具的给定工具包,并决定使用名为 get_budget() 的工具。
  • 收到建议的工具名称后,您(作为应用程序)调用该函数get_budget()。假设它返回给您1000 元的预算。
  • 你把1000元的预算信息传递给LLM,LLM会根据你的预算为你生成一份旅行计划清单

注意:函数调用绝对不仅限于单个函数。在此示例中,LLM 可能决定它还需要天气信息和目的地信息,因此它可能会选择其他工具。将调用哪些函数get_destination_info()以及get_weather()调用多少个函数取决于不同的因素,其中包括:

  • 工具包中提供了哪些功能
  • 上下文包括系统提示、用户提示和历史用户信息
  • 等等

您可能已经注意到,这个过程涉及LLM(提供任何可能的答案)以及函数/API 调用(带有预设逻辑)。

与使用硬编码逻辑(例如 if else)来决定何时调用哪个函数/API 的传统方法不同,此过程利用 LLM 的强大功能根据上下文动态地决定何时调用哪个函数/API。

而且不同于单纯的提示,这个过程使得LLM能够通过函数/API调用与外部系统集成。

3. RAG(检索增强生成)

图片

第三个策略是RAG。

除了上面 Agent + Function Calling 中提到的函数/API工具包之外,我们还可以为LLM提供一个知识库,知识库一般通过向量数据库来实现。

构建知识库:

  • 我们收集与某些主题相关的文件,以便 LLM 能够准确地讨论这些主题
  • 我们把它们分成更小的块
  • 然后,我们为每个块创建嵌入(即数字表示),并将它们存储在向量数据库中

这个策略的工作原理如下:

  • 你向 LLM发出查询
  • 应用程序将从知识库中检索与用户查询最相关的信息。这就是“检索”的过程

检索到的信息将成为传递给 LLM 的最终提示的一部分。这是“增强”的过程(增强提示)

LLM 根据最终提示生成答案。这是“生成”的过程

4. 微调

图片

第四个策略是微调。

就像编写函数一样,有两种方法可以将变量传递给它:

  • 一是,从参数中传入变量,以便可以在运行时获取它;
  • 二是,将其作为函数内的局部变量。

类似地,我们在上面的 RAG 策略中作为运行时提示传入的上下文知识,也可以在模型训练期间将其嵌入其中。这就是微调的情况。

想象一下,一家专门从事制药业的公司可能拥有庞大的知识库,但公众对此并不知情。在这种情况下,该公司可以选择基础大模型 (LLM),并通过将知识库嵌入新模型本身来对其进行微调。

何时使用哪种策略?

下图不是黄金法则,但可以提供一些指导:

图片

虽然微调看起来像是最终的解决方案,但它通常成本更高且需要付出更多努力。

考虑到 RAG 的核心优势,您可能会发现RAG足以解决 70% 到 80% 的用例:

  • 易于保持最新,因为我们只需要保持文档和矢量数据库为最新
  • 降低成本

可能考虑微调的场景:

  1. 模型输出的稳定性至关重要
  2. 在用户数量庞大的情况下,优化推理成本意义重大
  3. LLM 的生成速度具有重要意义
  4. 私人托管是必须的

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

RDP Wrapper失效了?别慌!教你如何手动为Windows 10/11最新版本添加rdpwrap.ini配置 本文详细介绍了当RDP Wrapper在Windows 10/11最新版本中失效时,如何手动添加rdpwrap.ini配置以恢复多用户远程桌面功能。通过获取最新配置文件、安全替换配置的完整流程以及高级手动配置技巧,帮助用户解决[Not support]问题,确保远程工作流程不受系统更新影响。 阅读详情

相关推荐

群晖Hyper Backup还原实战:加密与非加密备份的完整操作指南

本文详细介绍了群晖Hyper Backup在加密与非加密备份场景下的完整还原操作指南。通过实战案例和高级技巧,帮助用户应对硬盘故障或系统崩溃时的数据恢复挑战,特别是加密备份恢复中的关键节点和常见陷阱。

weixin_29323365的博客 440

提示工程、RAG和微调 - 哪个才是大模型应用优化的最佳路径?

关注【数字共生】公众号,与数字世界一起共生进化在上一篇文章 【GitHub Copilot产品经理和微软MVP告诉你:企业是否需要训练自己的代码大模型?- 微软MVP全球峰会纪行】中,我以GitHub Copilot作为案例,和大家分析了企业进行私有化模型训练的6个基本要素。但这其实是一个未完成的话题。企业内部存在大量的私域数据是客观事实,从代码生成角度来看,私有的框架、公用代码组件、内部编码规范...

dotNET跨平台 2796

保姆级教程:用掘金量化API手把手复现一个年化17%的网格交易策略(附完整Python代码)

本文提供了一份详细的掘金量化API教程,手把手教你构建一个年化17%的网格交易策略。通过完整的Python代码实现,深入解析网格交易的核心逻辑、参数配置和动态调仓机制,帮助量化新手快速掌握策略开发全流程。教程包含环境配置、代码实现、回测分析和常见问题解答,是学习量化投资的实用指南。

weixin_33709364的博客 300

五分钟弄清楚爆火的提示工程,RAG和微调

大模型语境下的提示工程,RAG和微调是现在非常热点的几个不同的技术方向,他们具体是什么呢?三者的共性与区别是什么呢?今天一文带你搞清楚。提示工程(Prompt Engineering)提示工程相对是大家比较熟悉的概念,指的是通过精心设计,并且优化针对large language model的输入,来激发large language model的潜能,引导他在不同的任务上面呈现出更加精准,更加相关的...

YeJuliaLi的博客 2948

OnlyOffice Docker部署实战:解除20连接限制+500M文件上传配置(附中文字体解决方案)

本文详细介绍了OnlyOffice企业级Docker部署的全过程,包括解除20并发连接限制、提升文件上传大小至500MB以及解决中文字体显示问题。通过定制镜像、优化配置和字体安装,帮助技术团队快速搭建高性能的文档协作平台,适用于企业级应用场景。

weixin_26850069的博客 444

三. zemax光学设计流程+案例

文章目录zemax 基本操作:1. 建立光学基本模型2. 像质评价3. 优化(重点)4. 公差分析简单镜头设计 zemax 基本操作: 1. 建立光学基本模型 2. 像质评价 3. 优化(重点) 对系统设定的约束条件或目标值 统称为操作数。 操作数: 光学特性参数(焦距EFFL,近轴放大率PMAG,入瞳位置EMPP) 像差参数(球差SPHA,彗差COMA,像散ASTI) 边界条件(中心厚度值CTVA,边缘厚度值ETAV) 优化的主要步骤: 设置评价函数和优化操作数 一般小像差系统采用波像差 构建

Taiiiii的博客 8054

什么是RAG? 什么是微调? 什么是提示工程?一篇文章带你搞懂!

AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

m0_56255097的博客 1767

OCR文字识别基础

ocr文字识别

m0_47405013的博客 1755

一文把 RAG 每步的技术难点说明白

检索出来的结果在给大模型之前,还要 prompt 优化,包括 prompt 加上 step by step ,针对场景的加上相应的提示词等。最后的结果依赖大模型的理解,生成,逻辑推理能力。大模型能力的强弱也直接决定 RAG 的效果。所以大家会看到要把 RAG 作为大模型应用目前主要落地场景,但还是有非常多改进的空间的,这方面的创业公司也很多,技术发展也很快,机会很多。现在典型的 RAG框架有 dify,FastGPT ,百度智能云的 App builder等,大家都可以去试一试。

m0_59164304的博客 1789

python如何给声音增加回声效果

创建任何声音对象的回声效果。使用sndarray和numpy来创建原始声音的偏移和衰减副本。目前它只是使用硬编码的值来设置回声的数量和延迟。你可以根据自己的需要轻松地重新创建。这段注释说明了make_echo函数的用途和实现方式,即通过pygame的sndarray模块和numpy库来处理声音数据,生成具有回声效果的声音。函数中使用了固定的回声数量和延迟时间,但这些值可以根据用户的需求进行调整。

zhangzhechun的专栏 977

一、OpenSM 架构部署及原理详解

OpenSM 是 InfiniBand 网络的核心组件,通过自动化的拓扑发现、路由计算和状态维护,确保网络的高效运行。部署时需关注配置文件参数、路由算法选择和高可用性设计,调试时可借助日志和诊断工具快速定位问题。

jundao1997的专栏 1130

提示工程 vs 微调 vs RAG,大模型三种优化方式有什么区别?

提示工程、微调和检索增强生成(RAG)是三种主要优化大型语言模型输出的方法。

2401_85325726的博客 846

【WRF模拟】保存wrf输出文件到指定目录+仅输出指定空间域/变量文件

修改wrf命令以更改指定输出文件目录等

WW、forever的博客 544

别再傻傻分不清!一文讲透大模型里的 RAG、Agent、微调和提示词工程

大模型很多技术干货,都可以共享给你们,如果你肯花时间沉下心去学习,它们一定能帮到你!

2401_85325726的博客 2776

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

搞懂大模型中的提示工程、RAG和微调

我们都知道大模型非常火,很多人想必也都用过不少AI产品,比如百度的文心一言、字节的豆包、阿里巴巴的通义千问、腾讯的元宝、月之暗面的Kimi智能助手等等。那么对于提示工程、RAG(检索增强)和微调,在工程当中,我们应该怎么去选择呢?我们先要搞清楚,大模型是怎么训练出来的?首先需要有海量的数据,然后通过训练,来构造一个大模型。训练好的大模型,具备了很多的能力,因为在我们训练的过程中,使用到的数据是非常多样化的,包括各个行业、各个领域的数据。

lvaolan123456的博客 1767

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

提示工程 vs 微调 vs RAG

提示工程、微调和检索增强生成(RAG)是三种主要优化大型语言模型输出的方法。

2401_85325726的博客 1511

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

大模型知识增强技术:RAG、微调与提示工程完全指南!

文章介绍了解决大模型知识局限性的三种技术:RAG通过检索外部知识增强回答能力;微调使大模型适配特定任务;提示工程优化问题描述方式。文章重点详细讲解了RAG技术的原理、实现方法和应用示例,包括使用FAISS构建向量库、文档处理、嵌入和相似度检索等技术,并提供了一个使用Streamlit构建的动漫知识库RAG应用实例。

m0_74942241的博客 1153

大模型应用框架解析:RAG、Agent、微调、提示词工程究竟是什么?

在大模型的学习和使用过程中,我们经常听到RAG、Agent、微调、提示词工程等相关术语,那么究竟什么是RAG、Agent、微调、提示词工程?让我们一起探讨学习。RAG(Retrieval-Augmented Generation)是一种基于检索增强的生成技术,其核心思想是在生成文本之前,从外部知识库中检索与任务相关的知识,并将其作为输入的一部分,以提高生成文本的准确性和相关性。知识更新成本低:无需重新训练整个模型,只需更新知识库即可实现知识的更新和扩展。

2301_82275412的博客 2026

大模型应用开发 | 彻底搞懂大模型LLM(提示工程、函数调用、RAG检索增强生成、微调)

Prompt Engineering,即提示工程,是指设计和优化输入给大型语言模型(LLM)的文本提示(Prompt)的过程。这些提示旨在引导LLM生成符合期望的、高质量的输出。它能够根据特定任务需求优化输入提示,引导大语言模型生成更准确、全面、符合格式要求的输出,从而提升模型在多样化应用场景中的性能和实用性。Prompt Engineering的核心要素在于通过明确的指示、相关的上下文、具体的例子以及准确的输入来精心设计提示,从而引导大语言模型生成符合预期的高质量输出。

star_nwe的博客 821

商业上怎么合理运用提示工程,RAG和模型微调

提示工程、RAG 还有微调在工程当中应该怎么选择,今天来给大家讲清楚。那首先呢,我们要弄清楚大模型是怎么训练出来的。训练大模型,首先需要海量的数据,然后通过训练的方法来构造一个大模型。然后这个大模型,其实它具备了非常多的能力,因为我们在训练的过程里面,其实使用到的数据是非常多样化的,包括金融数据、医疗数据、智能制造的数据、教育数据,还有好多好多其他行业的数据。然后从另外一个角度,我们可以把这个大模型比作是智能化的大脑,比如说一个人的大脑。

DEVELOPERAA的博客 1039

AI大模型RAG、提示工程与大模型微调:人工智能领域的关键技术探索

RAG,即检索增强生成(Retrieval-Augmented Generation)。在大型语言模型不断发展的背景下,它应运而生,成为解决语言模型诸多挑战的一把利器。大型语言模型尽管强大,但有时会存在信息偏差、知识更新滞后、内容不可追溯、领域专业知识能力欠缺、推理能力限制以及应用场景适应性受限等问题。而 RAG 巧妙地整合了从庞大知识库中检索到的相关信息,并以此为基础,指导大型语言模型生成更为精准的答案,从而显著提升了回答的准确性与深度。

2401_85325397的博客 1107
上一篇: 大模型新书分享《大模型入门:技术原理与实战应用》(附PDF)
下一篇: 大模型微调使GPT3成为了可以聊天发布指令的ChatGPT
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值