PingCAP 王琦智：下一代 RAG，tidb.ai 使用知识图谱增强 RAG 能力

导读

随着 ChatGPT 的流行，LLMs（大语言模型）再次进入人们的视野。然而，在处理特定领域查询时，大模型生成的内容往往存在信息滞后和准确性不足的问题。如何让 RAG 和向量搜索技术在实际应用中更好地满足企业需求？如何在向量之上构建全链路 RAG 服务，提升开发者效率，降低成本？本文整理自 TiDB 生态系统架构师及高级开发者 Advocate 王琦智在墨天轮数据库沙龙的分享：《下一代RAG，tidb.ai 使用知识图谱增强 RAG 能力》，以下为演讲实录。

Graph RAG（Graph Retrieval-Augmented Generation）是一种结合知识图谱和信息检索技术的方法。为了更好地理解它，我们可以用一个形象的例子来说明：在商场门口有一个抽奖箱，你把手伸进去抽出一张小纸条，上面写着一二三等奖的奖项及相应的绕口令。你需要念出绕口令才能拿到奖品。这个过程很像 Graph RAG 的工作原理：你在一个“黑盒子”里接收到一段信息，然后使用这些信息进行相应的操作。

但我们发现，在某些情况下，抽到的奖项越高反而可能带来一些问题。例如，若口才不佳，抽到高奖项可能会让人难以应对，从而无法获得任何实际的奖励。这种现象在某些游戏场景中尤为明显。然而，在 RAG 场景中，我们希望能获得更好的回答。那么，如何解决这一问题呢？一种解决方案是，当抽取奖项时，同时抽取与之关联的其他奖项。例如，当抽到二等奖时，同时抽出相应的一等奖和三等奖。这种方法可以借助知识图谱来增强 RAG 能力。

今天，我们就来探讨如何使用知识图谱来提高 RAG 表现。

tidb.ai是什么

首先，让我们介绍一下 tidb.ai 它是什么。其实很简单，就是一个了解 TiDB 知识的 AI 问答机器人。在使用 tidb.ai 的过程中，可能会有一些常见的问题。例如，TiDB 中的 TiKV 和 TiFlash 有什么区别？实际上，这是指两种存储引擎，TiKV 是行存储，而 TiFlash 是列存储。但是，对于一个 TiDB 新手来说，可能会不知道这些区别，因此会产生疑问。这正是我们使用知识图谱生成的一些档案所解决的问题。

在我们使用 tidb.ai 之前，存在一些问题。首先，我们缺乏技术支持的人力。以前我们有一个轮班的小组来回答社区成员提出的问题，但人力一直不足，所以导致技术支持的间隔时间较长。如果问题提得不够清楚，没有一次性把所有问题提完，就需要几轮沟通，从而延长了技术回答的时间。其次，我们的文档丰富，但会导致用户不知道从哪里开始。 通过 tidb.ai，我们可以帮助用户查阅文档、编写代码、回答问题，从而解放技术支持工程师的人力，实现零延迟的回答，并且不需要等待多轮对话。

简单RAG的实现方案

首先，简单介绍一下我们在一年之前是如何实现的简单的 RAG。最初的实验方案是基于 Plain RAG（云原生 RAG）。下面是具体的实现步骤，如图所示，分别为：