使用Ragas自动化评测RAG知识问答系统的各项表现

Hello，大家好呀。

用纯代码手搓了一个RAG本地知识问答系统，使用过程中发现：

如果本地文档文档质量比较高的情况下，答案还是相当不错的

一旦知识库文件质量本身不好，或者知识库文件过多，相似的知识被分散在了不同的块，回答就会出现偏差。

那如何对输出的结果进行测试呢？一种方法是你本身对知识很熟悉，可以人工进行测评；还有一种方法就是，通过AI大模型，让其自己进行自动测评。

本篇将介绍使用ragas框架，自动对RAG系统的回答结果进行测评。

老规矩，先看最终效果。

挑选了一篇文章中已经训练好的“信贷业务”这个知识库进行测评，测评的问题集可以自定义；

一、重要补充

网上介绍ragas框架的文章有很多，就不在这里赘述，只介绍几个重要的概念，以便我们能实践使用。

ragas官方介绍文档（https://docs.ragas.io/en/stable/concepts/）

\1. ragas的评估维度分为检索环节和生成环节

\2. 检索阶段的指标包括：上下文相关性（Context Relevance）、上下文召回率（Context Recall）；通俗点讲，就是要“找得准”。

3.生成环节的指标包括：忠实度（Faithfulness）、答案相关性（Answer Relevance）；通俗点讲，就是要“不跑题”、“不瞎编”。

二、实现过程

1、整体规划

1）引入ragas的python包

2）准备评测数据

3）构建评测参数

4）执行评测

5）输出评测报告

2、引入ragas

这一步也很重要，0.2+的版本和之前的版本，写法有很大的区别。要看清自己的版本。

3、准备测评数据

1）测评数据内容： 主要有用户问题、大模型生成的答案、检索上下文和真实答案（人工给出的答案，可以省略）。

2）测评数据获取： 文末扫取微信二维码获得

通过程序获得的核心代码如下：

eval_questions=[],可以设置多个问题；

answers = [],每个问题，大模型给出的答案，也就是问答界面给出的结果，通过rag返回的response.content获得。

contexts = [],这个是检索上下文，通过rag返回的response.source_nodes获得。

4、构建评估参数

ContextRelevance - 上下文相关性

LLMContextPrecisionWithoutReference - 用户不给出参考答案的情况下，评估内容精确度

Faithfulness - 忠实度

AnswerRelevancy - 答案相关性

关键代码

5、执行评估

准备好上述一切之后，只需要调用ragas的evaluate方法即可。

核心代码如下：

6、输出结果报告

可以打印出来，也可以输出markdown格式。

核心代码如下：

好了，今天ragas自动测评就到这里了，虽然简单、但很重要！就像任何一个系统投产之前需要进行测试一样重要！希望对你有用~

如何零基础入门 / 学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么我作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，希望可以帮助到更多学习大模型的人！至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

全套AGI大模型学习大纲+路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉 福利来袭优快云大礼包：《2025最全AI大模型学习资源包》免费分享，安全可点 👈

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。