大模型调优方法：提示工程、RAGs 与微调对比

最新推荐文章于 2025-02-25 11:09:32 发布
最新推荐文章于 2025-02-25 11:09:32 发布
阅读量3.7k 收藏 9
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ai2nv/article/details/135533006
版权

每一个搭建大语言模型应用的AI工程师都会面临一个难题，如何选择一个合适调优方法。就算是强大的预训练LLM也可能无法直接满足项目中的特定需求。如项目需要一个特定结构的应用程序，如预训练缺失上下文的重要文件，再比如有特定术语和结构的高专业性的行业领域，面对这些问题，需要有特定的方法来调整LLM。

要决定用哪种调优方法，首先得明白这些方法的含义。

提示工程（Prompt Engineering）

提示工程相对是大家比较熟悉的概念，输入prompt给large language model，大语言模型就根据这个输入来生成回应。然后得到我们想要的结果。这实际上是一种精确的输入方法，旨在引导模型产生相应的输出。大多数情况下prompts指的是文本，尤其是以自然语言来作为描述的文本。

检索增强生成（Retrieval Augmented Generation）

RAG技术通常将客户的原有文档切分成很多片段，理解每一个片段的语义并将其保存在数据库中，通过大语言模型理解用户的查询需求，并将相关的片段从数据

最低0.47元/天 解锁文章
『大模型笔记』提示工程、微调和RAG之间对比
AI新视界
03-28 438
一篇总结提示工程、微调和RAG之间对比差异的博文
大语言模型Agent在网络安全领域的应用案例
最新发布
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
02-25 88
大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。本文章深入探讨了三个核心问题：如何构建针对网络安全的LLMs、LLMs在网络安全任务中的应用，以及该领域面临的挑战和未来研究方向。
大语言模型的Prompt工程、RAG和微调区别及应用示例
wangjye99的博客
05-02 3520
大模型应用中，Prompt工程引导模型输出，RAG利用外部知识增强回答的准确性及丰富度，微调则使模型更好地适应特定任务或领域。三者紧密协作，不仅能提高特定场景下模型的表现，更使其能够精准、高效地完成复杂任务。
【大模型】3分钟了解提示(Prompt)工程、检索增强(RAG)和微调
追求自由的码砖人
10-18 841
大模型虽通过海量数据训练，能力强大，但有时会给出错误回答。产生错误的原因可能包括：1) 提问方式不当，可通过提示工程提升其处理复杂任务的能力；2) 训练数据虽多但缺乏某些垂直领域或实时性的知识，可通过检索增强（RAG）先检索相关知识再生成答案；3) 在特定领域如医学、金融等可能能力不足，可通过微调训练让模型记住特定领域知识，减少幻觉。
大模型接入业务系统的三种方式（直接Prompt、RAG、微调）的对比
学亮编程手记
02-25 527
以下是 大模型接入业务系统的三种方式（直接Prompt、RAG、微调）的对比，涵盖技术原理、适用场景和核心优劣势：知识依赖效果与成本平衡技术选型建议
搞懂大模型中的提示工程、RGA、微调
cancer_s的博客
09-09 1067
近几年AI产品的大火带来了新一轮的技术潮，尤为突出的是以生成式的AIGC模型。例如OpenAI公司的ChatGPT、百度的文心一言、阿里巴巴的通义千问、华为的盘古大模型等等。那么对于提示工程、RAG（检索增强）和微调，在工程当中，我们应该怎么去选择呢？首先我们需要了解大模型的流程：1.数据收集：大量的文本数据作为训练数据；2.模型搭建：构建LLM大模型3.训练模型：将收集的数据作为训练数据训练搭建好的LLM模型4.使用模型：喂入关键词，模型自动组合生成对应的回答；
《AI学习笔记》大模型-微调/训练区别以及流程
阿丹的博客
05-21 2013
之前一直对于大模型的微调和训练这两个名词不是很清晰，所有找了一个时间来弄明白到底有什么区别以及到底要怎么去使用去做。并且上手实践一下。
人工智能的未来？RAG 结合了语言和搜索
2401_84587944的博客
05-01 1070
随着专家们暗示大型语言模型（LLM）的技术极限即将到来，人们的焦点转向了检索增强生成（RAG）——这是一项很有前途的进步，可以通过将信息检索与自然语言生成相结合来重新定义人工智能（AI）。LLM引领了人工智能技术，并改进了各种应用。然而，他们产生虚假信息的倾向限制了他们的潜力。RAG 允许 AI 访问特定的外部数据并将其纳入其响应中，使其更加有效和准确。
prompt，RAG，finetune，从零训练大模型对比
qq_40206371的博客
03-14 1844
虽然微调可以用很少的数据完成(在某些情况下甚至大约或少于30个示例)，但是设置微调并获得正确的可调参数值需要时间。这个过程从收集和管理数据开始，设计模型体系结构，并使用不同的建模方法进行实验，以获得特定用例的最佳模型。基础模型对提示的措辞非常敏感，改变一个词甚至一个动词有时会产生完全不同的反应。因为数据和输入的任何更改都需要另一个微调周期，这可能非常复杂且耗时。可以独立地更改嵌入模型、向量存储和LLM，而对其他组件的影响最小。它需要大量的迭代开发来获得具有正确技术和业务结果的最佳模型。
【精译】【DeepSeek】构建与优化推理模型的方法和策略（Understanding Reasoning LLMs，作者：Sebastian Raschka）
agito_cheung的博客
02-14 1059
在本文中，我将阐述构建推理模型 (reasoning models) 的四种主要方法，也就是我们如何赋予大语言模型（LLMs）推理能力。希望这些内容能提供有价值的见解，帮助你在围绕这一主题快速发展的文献资料和炒作热潮中找准方向。2024 年，大语言模型领域的专业化程度不断提高。除了预训练和微调之外，我们见证了各种专门应用的兴起，从检索增强生成（RAGs）到代码助手等。我预计这一趋势在 2025 年将进一步加速，人们会更加注重针对特定领域和应用的优化（即 “专业化”）。
大模型外挂知识库rag综述
posuosini的博客
03-19 8993
大模型外挂知识库rag的综述
线性收敛的随机优化算法之 SAG、SVRG（随机梯度下降）
热门推荐
sun_shengyun的专栏
12-22 2万+
原文出处：https://zhuanlan.zhihu.com/p/22402784?utm_source=tuicool&utm_medium=referral 这篇文章回顾了基于梯度的随机优化算法在这几年的重要发展 -- SAG、SVRG。 很多常见的机器学习模型的目标（比如最小二乘做线性回归、逻辑回归）都可以概括成以下这种一般形式：
Prompt、RAG、微调还是重新训练？选择正确的生成式 AI 的方法指南
叶庭云 成为自己的光
08-17 2726
Prompt、RAG、微调还是重新训练？选择正确的生成式 AI 的方法指南
大模型四大训练方法对比（RAG、prompt、fine-tuning与agent）
weixin_45320238的博客
10-12 611
RAG适合需要外部知识辅助的问答系统，prompt适合自然语言生成任务，微调适合各种特定的NLP任务，而agent则适合需要连续决策的问题。生成：将这些信息片段与输入提示一起作为上下文，生成最终的回答或文本。生成输出：将提示输入到预训练模型中，模型根据提示生成剩余的输出。交互：agent在环境中执行动作，并根据环境的反馈调整其策略。微调：在特定任务的标注数据上继续训练，通常使用较小的学习率。检索：根据输入的提示（prompt），模型在大型。设计提示：创建包含任务指令和部分输入数据的提示。
AI中Prompt与RAG区别是什么？
weixin_47726567的博客
12-27 973
指用于引导模型生成的输入文本（可以是一段话、一个问题、一个文档、一个指令等），使模型的输出更符合我们的期望。研究如何提高和AI的沟通质量与效率。Prompt Engineering（提示词工程）：核心关注开发和优化prompt。核心就是在提示模型“回忆”起在预训练阶段学到的能力，在合适的场景下为我们解决问题（来源：腾讯）。
带你了解三种大模型的应用技术范式： Prompt、Agent、 RAG
star_nwe的博客
08-07 4731
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
基于【大语言模型(LLM)】+【检索增强生成(RAG)】+【指令微调(Fine-Tune)】技术，构建智能体的方法
huang9604的博客
12-06 844
基于【大语言模型(LLM)】+【检索增强生成(RAG)】+【指令微调(Fine-Tune)】技术，构建智能体的方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

英智未来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值