LlamaIndex 实现 RAG（四）- RAG 跟踪监控

RAG 整个流程不复杂，集成三大部分包括文档解析并生成向量、根据查询问题查找语意相似的数据文档块、把查询问题和召回文档作为上下文的数据传给模型进行解答。大语言模型的应用开发和传统的开发方式区别很大，以前开发完成，只要逻辑正确，结果肯定是固定的，但是由于模型的特性，结果是基于概率计算的，加上自然语言的特殊性，近义词很多，每次回答都是正确的，但是返回的内容确不一样，可能是有些词改为了近义词，也可能描述的角度不一样了。

如果不加以控制，可能模型回答正确率就达不到要求，例如，如果模型正确率 60%，5 次回答中有 2 次是错的，这个用户就无法接受了。所以监控和评估对于 RAG 来讲就尤其重要，本文将介绍如何使用 LlamaIndex 进行 RAG 整体流程监控以及跟踪。

RAG监控

如何跟踪监控 RAG流程，监控的方式可以分为日志监控和可视化监控，日志监控可以提高开发阶段的效率，清晰的了解每一步 RAG 都做了什么，传的参数是什么，返回结果是什么。大语言模型的开发需要集成多方组件，而且大量使用提示词，如果链路很长，找问题是一个比较耗时的工作。下面将介绍如何通过日志方式和可视化的方式进行 RAG 的跟踪。

打开Log 日志

在 LlamaIndex 中通过以下代码打开 RAG 日志，运行 RAG 之后可以看到日志输出：

import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.DEBUG)
logging.getLogger().addHandler(logging.StreamHand