【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain

已于 2024-03-22 13:41:46 修改
阅读量2.8k 收藏 26
点赞数 27
分类专栏： 大模型 文章标签： 人工智能 langchain 学习 笔记 agi RAG LangSmith
于 2024-02-26 07:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Attitude93/article/details/136213749
版权
  • 大家好，我是同学小张，日常分享AI知识和实战案例
  • 欢迎 点赞 + 关注 👏，持续学习，持续干货输出。
  • +v: jasper_8017 一起交流💬，一起进步💪。
  • 微信公众号也可搜【同学小张】 🙏

本站文章一览：

在这里插入图片描述

上篇文章【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用 我们详细讲解了RAGAs的原理和实现方式，今天我们完整的实战一遍。将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。

实践完之后，通过LangSmith平台，还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 6677
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
深入理解RAG评估：使用LangChain、RAGAs和LangSmith构建高质量检索增强系统
海棠AI实验室
03-07 988
通过本文，我们深入了解了如何使用LangChain、RAGAs和LangSmith来构建、评估和优化RAG系统。我们不仅学习了如何搭建基础的RAG系统，还掌握了如何利用RAGAs进行系统评估，以及如何通过LangSmith进行监控和调试。更重要的是，我们探讨了多种优化策略，包括文档处理优化、检索策略优化和答案生成优化。这些优化方法能够帮助我们构建更高质量的RAG系统，从而在实际应用中取得更好的效果。希望这篇文章能帮助你更好地理解和应用RAG技术，构建出更智能、更可靠的AI应用！
使用Ragas为RAG生成测试集，评估RAG系统在特定文档的表现
python1234_的博客
11-19 1965
测试集是用于评估模型性能的数据集，它不参与模型的训练过程，而是用于在模型训练完成后测试其准确性和泛化能力。这篇文章介绍如何使用Ragas框架创建一个测试集，以便可以评估自己的RAG系统在处理特定文档时的表现。通过使用自己的文档生成测试集，可以确保测试集与RAG具体应用场景紧密相关，从而更准确地评估RAG系统的效果。
大模型RAG从原理到实战精通指南，建议收藏！
最新发布
2401_85373691的博客
04-16 1083
如果你真的想学习大模型，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！
LangChain实战：RAG检索增强-打造属于你自己的知识库
Watermaleon的博客
06-10 805
通过RAG检索增强打造属于你自己的知识库，让大模型也懂你的业务，成为你的专属AI
LangChain的RAG实践
2301_81940605的博客
04-12 2300
RAG技术将这两种记忆类型进行了整合，最终，在知识密集型的NLP任务上，比如QA，比单独使用上述两种类型的记忆获得了更好的效果。接下来将具体介绍RAG如何来补充LLM的一些短板，以及在两种记忆的具体体现，并使用LangChain来实现基本RAG流程。
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
京东科技开发者
07-02 2714
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。2.信息****检索（R)
langchain实践——简单的RAG
m0_67368572的博客
04-25 1486
新用户申请阿里云灵积平台服务可获取部分模型限量免费API额度，由于项目模型处于开发微调中，故使用阿里云灵积平台服务API进行后端应用开发。
RAG评估方法RAGAS的langchain实现-4
the_3rd_bomb的博客
02-13 405
原理：Context Relevance 指标用于评估一个回答的句子是否受到提供的上下文支持，以及上下文是否受到回答的支持。
RAG实战案例：如何基于 LangChain 实现智能检索生成系统
热门推荐
FrenzyTechAI的博客
12-22 1万+
检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。通过从更多数据源添加背景信息，以及通过训练来补充 LLM 的原始知识库，检索增强生成能够提高搜索体验的相关性。这能够改善大型语言模型的输出，但又无需重新训练模型。
LangChain学习：评估
Michael是个半路程序员
07-14 961
意思就是资源不够用。不能同时对多个文档进行操作，换了个账号，可以了。执行 index 那行，报错了。使用模型进行了批量评估。
RAG概念理解与项目实战（基于LangChain框架附带GitHub源码）
weixin_59534602的博客
03-17 1395
了解RAG流程解决方案，可构建本地知识库。基于LangChain框架写的一个简单RAG流程项目，支持联网搜索与本地指数哭，GitHub开源。
大模型RAG应用优化实战
qingkahui24689的博客
06-26 1281
影响RAG应用性能的因素中，大模型本身的能力相对不是最关键的。当然更快更好更强的大模型肯定会带来更好的RAG性能，只是很多时候我们没的选择，又没有能力自己搞出一个吊打一切的大模型来，所以提升RAG应用性能的主要工作都是在想办法提升知识库的质量和检索质量。著名AI大模型博主Greg Kamradt说“All you need is retrieval”这句话，甚得我心。想要RAG性能好，关键在于如何从具有大量内容的知识库中找到跟用户提问最相关最准确的那部分内容，而且没有其它不相干的内容。
LangChain-Evaluation—如何评估LLM及其应用（三）
To be a better man
06-30 2268
在开始项目之前，您通常没有大量数据来评估您的链/代理。这通常是因为大型语言模型（大多数链/代理的核心）是出色的少镜头（few-shot）和零镜头（zero-shot）学习者， 这意味着您几乎总是能够开始执行特定任务（文本到SQL，问答等），而无需示例的大型数据集。这与传统的机器学习形成鲜明对比，在传统的机器学习中，你必须首先收集一堆数据点。第一个方案是不使用度量指标，而是仅依赖肉眼观察结果，以便了解链/代理的性能。为此，我们有几个不同的链和提示，旨在解决这个问题。，但我们非常希望这是社区的努力。
RAG实战全解析
qingkahui24689的博客
12-06 837
RAG（Retrieval Augmented Generation，检索增强生成 ）方法是指结合了基于检索的模型和生成模型的能力，以提高生成文本的质量和相关性。该方法是Meta在2020年发表的文章《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出的，该方法让LM（Language Model，语言模型）能够获取内化知识之外的信息，并允许LM在专业知识库的基础上，以更准确的方式回答问题。而在大模型时代，它更是用于解决幻
长文 | RAG的实战指南及探索之路
2401_85375186的博客
12-13 869
摘要索引只是将节点存储为顺序链。在后续的检索和生成阶段，可以简单地顺序遍历所有节点，也可以基于关键词进行过滤。在RAG 的知识问答场景下，随着越来越多的文档、网页等信息被注入应用中，越来越多开发者意识到信息来源的重要性，它可以让模型生成的内容能够与参考信息的内容作出对齐，提供证据来源，确保信息准确性，使得大模型的回答更加真实。这里为了统一，在之后的文章中用“归因”特指“引用或归因”。
【LLM大模型】落地RAG系列：RAG入门及RAG面临的挑战和解决方案！！
AAI666666的博客
07-31 1960
2023 年以来，RAG 已成为基于大模型的人工智能系统中应用最为广泛的架构之一。因此对 RAG 应用的性能、检索效率、准确性的研究成为核心问题。
RAG评估
03-24
<think>好的，用户想了解如何评估RAG模型的性能指标。首先，我需要回忆一下RAG的基本结构，它通常包括检索器、生成器和可能的其他组件。评估应该涵盖这两个部分以及整体的效果。 根据用户提供的引用，特别是引用[2]，里面提到了忠实度、相关性和答案质量这些指标。我需要整理这些指标，并考虑其他可能的方面，比如检索的准确性、生成答案的连贯性等。 然后，分模块评估可能是一个好方法。比如，先评估检索模块，再评估生成模块，最后整体评估。对于检索模块，常用的指标有召回率、准确率、MRR和NDCG。这些指标能反映检索到的文档是否相关且全面。 生成模块方面，忠实度是关键，确保生成内容与检索结果一致。另外，流畅度、相关性和信息量也很重要。可能需要结合自动评估和人工评估，比如用BLEU或ROUGE做自动评分，同时人工检查事实准确性。 整体评估方面，End-to-End指标如回答准确性、用户满意度，以及像RAGAs这样的评估框架。引用[3]和[4]提到了一些工具和实战方法，比如使用RAGAs和LangSmith，但用户提到的错误提示可能需要检查依赖安装是否正确。 还要考虑实践中的挑战，比如数据标注成本、领域适配问题。比如，在医疗领域可能需要更严格的忠实度检查。最后，生成相关问题，帮助用户深入理解，比如优化方法、评估工具的使用等。 确保回答结构清晰，分点列出，并正确引用提供的资料。同时，按照用户要求，使用中文和正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$。避免使用Markdown，保持口语化但专业。</think>### RAG模型评估方法分步解析 评估RAG（检索增强生成）模型需要从检索质量、生成质量和端到端效果三个维度进行综合考量，以下是详细评估框架： #### 一、检索模块评估 $$ P@k = \frac{\text{相关文档数}}{k} $$ $$ Recall@k = \frac{\text{检索到的相关文档}}{\text{所有相关文档}} $$ 1. **召回率（Recall）**：衡量检索系统找到所有相关文档的能力，数学表达式为$Recall = \frac{TP}{TP+FN}$ 2. **准确率（Precision@k）**：前k个检索结果中相关文档的比例 3. **MRR（平均倒数排名）**：首个相关文档位置的倒数平均值 4. **NDCG（归一化折损累积增益）**：考虑文档相关度和位置权重的排序质量评估[^2] #### 二、生成模块评估 1. **忠实度（Faithfulness）**：要求生成内容严格基于检索结果，可通过文本蕴含识别技术验证[^2] 2. **相关性（Relevance）**：答案与问题的匹配程度，可用$BLEU-4$或$ROUGE-L$自动评分 3. **信息完整性**：是否覆盖问题所有关键点，如使用$Coverage@k$指标 4. **流畅度**：通过语言模型计算困惑度（Perplexity） #### 三、端到端评估 $$ RAG\_Score = \alpha \cdot Faithfulness + \beta \cdot Relevance + \gamma \cdot Fluency $$ 1. **问答准确性**：人工标注标准答案与生成答案的匹配度 2. **响应延迟**：从查询到响应的时间$T_{total}=T_{retrieval}+T_{generation}$ 3. **用户满意度**：通过问卷收集主观评分 4. **错误率统计**：包含事实错误、逻辑错误等类型统计[^3] #### 四、评估工具实践 1. **RAGAs框架**：提供开箱即用的评估指标 ```python from ragas.metrics import faithfulness, answer_relevance evaluation_result = evaluate(dataset, metrics=[faithfulness, answer_relevance]) ``` 2. **LangChain集成**：支持构建自定义评估流水线 3. **人工评估**：至少需要3位标注者确保结果可靠性[^4] #### 五、典型挑战 1. 数据标注成本高（单次评估需500+样本） 2. 领域适配问题（医疗领域需要更严格的忠实度检查） 3. 长尾查询处理（低频问题的评估覆盖率）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

同学小张

如果觉得有帮助，欢迎给我鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值