如何用LLM和自有知识库搭建智能Agent？

最近调研了利用llm大模型加上自己的知识库进行智能机器人问答。

1.背景

llm大模型的强大能力可以让llm大模型充当智能机器人进行问答，比如作为企业的智能客服，回答一些常见的问题。但由于llm模型主要是基于通用数据的，对于特定数据的回答就难以胜任了。这就衍生了基于知识库的ai大模型方案。

以阿里云的通义千问智能机器人为例，其技术路线如下：

基本思路就是文本进行拆分，然后embeding成向量，存储到向量数据库，作为知识库，然后问答时从知识库查询，将查询到的向量以及匹配的文本，作为背景知识 ，加上固定的prompt，引导llm模型输出答案，如下代码所示，{ {context}}即为背景知识。

2.开源方案介绍

除了类似阿里等商业方案，对于中小企业，可以考虑轻量级的开源方案。

调研了几个开源方案，从部署难易程度上选择了fastgpt。

2.1 fastgpt

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景。

其技术栈如下：

fastgpt提供了基础的docker部署脚本，默认用openapi的接口