使用 FastGPT 构建高质量 AI 知识库

引言

自从去年 12 月 ChatGPT 发布以来，带动了一轮新的交互应用革命。尤其在 GPT-3.5 接口全面开放后，大量的 LLM 应用如雨后春笋般涌现。然而，由于 GPT 的可控性、随机性和合规性等问题，很多应用场景都没法落地。

起源

3 月份，我在 Twitter 上刷到一个老哥使用 GPT 训练他自己的博客记录，成本极低（相比于 Fine-tuning）。他提供了一个完整的流程图：

看到这个推文后，我灵机一动，应用场景就十分清晰了。直接上手开干，不到一个月的时间，我在原有的助手管理基础上，为 FastGPT 加入了向量搜索功能。

初步发展

三个月过去了，FastGPT 依然延续着早期的思路去完善和扩展。目前，其在向量搜索 + LLM 线性问答方面的功能基本已完成。然而，我们始终没有发布关于如何构建知识库的教程。因此，我们打算在 V4 版本开发过程中，写一篇文章来介绍《如何在 FastGPT 上构建高质量知识库》。

FastGPT 的知识库逻辑

在正式开始构建知识库之前，我们需要了解 FastGPT 的知识库检索机制。首先，我们需要了解几个基本概念：

基础概念

1. 向量：将人类的语言（文字、图片、视频等）转换为计算机可识别的语言（数组）。
2. 向量相似度：计算两个向量之间的相似度，表示两种语言的相似程度。
3. 语言大模型的特性：上下文理解、总结和推理。

这三个概念结合起来，就构成了 “向量搜索 + 大模型 = 知识库问答” 的公式。以下是 FastGPT V3 中知识库问答功能的完整逻辑：

FastGPT 与大多数其他知识库问答产品不同的地方在于，它采用了 QA 问答对进行存储，而不仅是 chunk（文本分块）处理。这样做是为了减少向量化内容的长度，使向量能更好地表达文本的含义，从而提高搜索的精度。

此外 FastGPT 还提供了搜索测试和对话测试两种途径对数据进行调整，从而方便用户调整自己的数据。

根据上述流程和方式，我们以构建一个 FastGPT 常见问题机器人为例，展示如何构建一个高质量的 AI 知识库。

FastGPT 仓库地址：https://github.com/labring/FastGPT

创建知识库应用

首先，我们创建一个 FastGPT 常见问题知识库。