【一图看懂蒸馏，RAG和微调的区别】

最新推荐文章于 2025-04-22 12:46:22 发布
最新推荐文章于 2025-04-22 12:46:22 发布
阅读量224 收藏
点赞数
文章标签： 人工智能
原文链接：https://www.xiaohongshu.com/discovery/item/67abfb6e000000002901de84?source=webshare&xhsshare=pc_web&xsec_token=ABAYjxey06PxohnipWXLqaTr2SqzsDAbrIabdlWJtpqkI=&xsec_source=pc_share
版权

在这里插入图片描述
14在这里插入图片描述在这里插入图片描述在这里插入图片描述

转载链接： 【一图看懂蒸馏，RAG和微调的区别 - momo | 小红书 - 你的生活指南】 😆 chqJJAQGqrMSWIJ 😆 https://www.xiaohongshu.com/discovery/item/67abfb6e000000002901de84?source=webshare&xhsshare=pc_web&xsec_token=ABAYjxey06PxohnipWXLqaTr2SqzsDAbrIabdlWJtpqkI=&xsec_source=pc_share

W Y
关注
LLM大模型工程入门级知识初探
互联网大厂后端码农，个人IP：无一郎的技术圈，欢迎加入我的知识星球，解锁更多内容
12-23 1967
机缘巧合下自己的接触了大模型相关的研发工作，顺便调研总结一下大模型工程方向可能涉及到的行业热点方向与基础入门知识，还有一些的专业词汇的解释，有时候自己主动探索某个方向是一种乐趣，感兴趣就都可以了解一下。
全面认识AI Agent，一文读懂AI智能体的架构指南
m0_74823507的博客
01-17 1238
AIAgent，或称为人工智能代理，我更愿意称为AI智能体。它是一种模拟人类智能行为的人工智能系统，以大型语言模型（LLM）作为其核心引擎。它们能够感知其环境，做出决策，并执行任务以实现特定的目标。AIAgent的设计理念是赋予机器自主性、适应性和交互性，使其能够在复杂多变的环境中独立运作。本文全面探讨了AIAgent的基本概念、类型、架构和关键技术对比。AIAgent作为人工智能领域的活跃分支，已经展现出其在多个行业中的实用性和变革潜力。
大模型蒸馏与大模型微调技术有啥差别?
kcarly的专栏
02-01 4325
大模型蒸馏（Knowledge Distillation）蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术。通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸馏过程通常包括两个阶段：预训练阶段（教师模型训练）和知识传递阶段（学生模型训练）。大模型微调（Fine-tuning）微调是指在预训练的大模型基础上，通过少量标注数据的再训练，使模型适应特定任务的需求。微调可以分为全量微调和参数高效微调（如PEFT）。
模型蒸馏、模型微调、RAG解释
puxuanai1459的博客
02-17 636
模型蒸馏、模型微调、RAG解释
AI技术：大白话理解 RAG、微调、蒸馏的区别
2401_85390073的博客
03-24 811
大模型是AI的底座，用好大模型需要了解RAG、微调、蒸馏的含义。以上解释，不懂技术的人很难理解，今天我用通俗的解释，让大家理解这些技术。如果把大模型比作一个聪明的学生，RAG、微调、蒸馏就像三种不同的“学习方法”。它们的区别可以用生活中的场景来理解：一、RAG：带着课本进考场的学霸开卷考试：学生（AI模型）揣着专业课本（知识库文件），遇到不会的题（用户提问）就翻书查资料（检索相关段落），再结合自己的理解（模型推理）写出答案（生成回答）。
100.14 AI量化面试题：模型蒸馏（Model Distillation）和模型微调（Fine-tuning）的异同点
Kewin的博客
02-11 1178
本文通过通俗易懂的方式介绍模型蒸馏(Model Distillation)和模型微调(Fine-tuning)的共同点与差异点，帮助读者更好地理解这两种模型优化技术。
微调与强化学习训练、模型蒸馏等概念辨析
llijjianmmin的博客
02-14 466
伴随着DeepSeek R1的兴起，关于强化学习训练、模型蒸馏等概念也逐渐被人熟知，这里我们简单总结下这三者的异同。微调、强化学习训练和模型蒸馏都是常用的技术手段，它们有着不同的应用场景和目标。尽管这些方法在某些方面有所交集，但它们的核心原理和任务目标却存在显著差异。1.微调（Fine-tuning）：微调是指在一个已经预训练的大型模型基础上，使用较少的任务特定数据对模型进行再训练，以适应特定任务的需求。微调通常针对模型的某些层进行调整，或者通过在全模型基础上进一步训练来优化其在目标任务中的表现。微调不需要
选择模型蒸馏还是微调：深度解析技术本质区别
同学小张的博客
02-25 823
明明有标注数据，为什么蒸馏小模型效果总不如微调后的大模型？如果不需要模仿教师模型，直接蒸馏能否替代微调？
深入浅出：从入门到精通大模型Prompt、SFT、RAG、Infer、Deploy、Agent
lengm
12-28 2092
深入浅出：万字长文从入门到精通大语言模型LLM
大模型相关基础知识学习
qq_52234528的博客
06-07 1573
学习大模型的笔记
一篇文章系统看懂大模型2024年最新版，30000字呕心沥血，只为让你完全读懂大模型的原理
Python966的博客
10-28 912
一篇文章系统看懂大模型2024年最新版，30000字呕心沥血，只为让你完全读懂大模型的原理
大模型减肥秘籍：蒸馏、RAG和微调，让AI更轻盈
2401_84208172的博客
02-24 1068
下面我们将用通俗易懂的方式详细讲解模型蒸馏、RAG（检索增强生成）和微调这三个概念，并通过图表来辅助说明。它们都是优化大模型的常用方法，但目的和实现方式各有不同。我们会一步步拆解，让你彻底明白这些“黑科技”是怎么回事！
深度学习的Fine-tuning相关概念分析：微调 迁移学习 蒸馏学习 元学习
disanda的专栏
04-28 1423
这里的相关概念都是基于已有预训练模型，就是模型本身已经训练好，有一定泛化能力。需要“再加工”满足别的任务需求。当下GPT语言模型逐步流行，对模型的Fine-tuning也将成为趋势，借此机会，我来分析下相关概念。
简述微调大模型的方法
哇咔咔哇咔的博客
11-28 1243
简述微调大模型的方法
微调模型现在有那几种方式？
keyboard专栏
11-08 789
微调模型的方法有多种，具体可以根据任务的需求、硬件资源和模型特点选择合适的方法。
微调和蒸馏大模型的详细技术比较：创建自我优化、极具适应性的AI系统
Python_cocola的博客
03-04 785
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。微调，这涉及调整预训练模型的参数，以提高在特定领域任务上的表现。
【一文说清】大模型：蒸馏、微调、RAG，超级简单！通俗易懂，0基础小白也能看懂！
最新发布
javatiange的博客
04-22 812
)，教授，而是给出一堆可能性(“80%是猫，15%不会直接说“这是猫”是狗，5%是老虎”)，这就是“软标签”，有点像教思路而不是答案。**2.Top K采样：**这种方法筛选出K个最可能的下一个token，并在这些token之间重新分配概率。**3.Top P采样：**与从K个最可能的token中采样不同，top-p采样从最小的token集合中选择，该集合的累积概率超过阈值p。**3.结合基础知识：**小学生还有自己的课本(硬标签，比如“猫就是猫”)，会把课本知识和教授的思路结合起来，找到平衡。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2608
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
LLM学习：大模型微调＆蒸馏＆裁剪
python12222_的博客
09-25 913
通过在多种设置下训练不同的LLMs，展示了合成的Case2Code数据不仅可以提高LLMs在归纳推理任务上的性能，还可以提升它们在一般编程任务上的能力。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即使在重新训练模型后，也难以弥补这些任务的性能损失，这表明虽然这些层中存储的大部分信息是多余的，但其中的某些部分可能是关键任务所必需的。
RAG和微调
04-02
首先，根据引用[3]和[4]，RAG和微调是互补的，可以结合使用来提升模型性能。用户提到微调能让模型具备更好的知识和逻辑能力，而RAG则擅长信息检索，所以两者结合可能更有效。 接下来，实现方法部分需要分点说明。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值