qq_45889658的博客

RAFT方法（Retrieval Augmented Fine Tuning）：适应特定领域的LLMs对于许多新兴应用至关重要，但如何有效融入信息仍是一个开放问题。RAFT结合了检索增强生成（RAG）和监督微调（SFT），从而提高模型在特定领域内回答问题的能力。训练模型识别并忽略那些不能帮助回答问题的干扰文档，只关注和引用相关的文档。通过在训练中引入干扰文档，提高模型对干扰信息的鲁棒性，使其在测试时能更好地处理检索到的文档。

本文聚焦 Prompt 工程与检索增强生成（RAG）两大核心技术，从基础概念切入，系统梳理二者的核心原理、关键方法与适用场景；同时结合实际应用需求，提供可落地的技术使用指南 —— 既讲解 Prompt 设计的优化技巧（如指令明确化、上下文构建），也拆解 RAG 技术的实施流程（如知识库构建、检索匹配、生成优化），帮助读者快速理解并上手运用这两项技术解决实际问题。

embedding的基本概念：把想象成一种“翻译”方式：它把文字、图片、声音等复杂的东西，，而这串数字能。假设你正在用一个智能音箱问：“帮我找一部好看的科幻电影。word embedding的基本概念就是把（比如“猫”、“快乐”、“跑步”）转换成（通常是一个向量），这串数字能。假设我们有一个超简化的词嵌入系统，每个词用更神奇的是，这种表示还能捕捉！这个结果非常接近“皇后”的向量！这就是 Word Embedding 的强大之处——它让计算机能“理解”词语之间的语义关系。