基于DB-GPT与Google Bard构建知识库问答系统

原创

已于 2023-08-01 16:56:41 修改 · 1.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#AIGC #word2vec #自然语言处理 #人工智能 #语言模型

于 2023-08-01 16:54:06 首次发布

本文介绍了如何利用DB-GPT和Google Bard构建一个本地知识库问答系统，包括功能概览、知识库管理、数据库对话、数据处理等功能。DB-GPT支持多种大模型和文档类型，并提供了SQL语言能力、私域问答等功能。通过Bard-Proxy，可以在本地部署代理模式，结合知识库能力，实现高效的知识问答。文章还探讨了当前系统的不足与改进方向。

背景

在人类发展历史上，有两样东西是持续伴随整个人类发展的, 1. 知识 2. 工具。大模型出现之后，尤其是ChatGPT发布之后，因其具备的推理、逻辑能力，尤其是说不明，道不清的涌现能力，把AI的能力推向了一个新的层次。不仅仅引爆了整个科技圈，也随着媒体铺天盖地的宣传与渲染，被越来越多的用户所了解。随着围绕大模型的产品与应用的不断推出，非常多用户感受到了AI的魅力。在自然语言领域，各种知识库、写作、文档工具正在改变大家的学习知识、文档检索与撰写的方式。在多模态领域，Midjourney，stable diffustion的表现也非常火热，很多图形、设计类的工作也在发生者巨大的改变。

更令人惊喜的是最近秒鸭相机的出圈，让围绕大模型的应用与落地充满了期待。一个崭新的时代，正在加速拉开帷幕，为我们贡献精彩绝伦的表演。处在时代中的我们，是多么的幸运，尤其是处在这个时代的开发者们，我们正在见证也在深度参与一个伟大的时代，也亲眼目睹它的到来。

AIGC的大航海时代已经开启，热血的开发者们，想要大模型带来的财宝吗？想要的话就去追逐吧，所有的财宝已经被放在大模型里面了，去解开它的秘密吧。扬起你的帆船，带上你的伙伴，去找吧～

One piece， we are coming～

扯远了，我们言归正传 😂，在本文中，我们主要介绍DB-GPT的一些能力以及简要的使用手册，同时如何基于DB-GPT与Google Bard在本地跑一个知识库问答系统。

功能概览

目前DB-GPT已经发布了多种关键的特性:

SQL 语言能力, SQL生成、诊断
私域问答与数据处理
- 知识库管理(目前支持 txt, pdf, md, html, doc, ppt, and url)
- 数据库知识问答
- 数据处理
数据库对话
Chat2Dashboard
插件模型
- 支持自定义插件执行任务，原生支持Auto-GPT插件。如:
- SQL自动执行，获取查询结果
- 自动爬取学习知识
知识库统一向量存储/索引
- 非结构化数据支持包括PDF、MarkDown、CSV、Word、Txt、PPT、WebURL等等
多模型支持, 支持多种大语言模型, 当前已支持如下模型:
- Vicuna(7b,13b)
- ChatGLM-6b(int4,int8)
- guanaco(7b,13b,33b)
- Gorilla(7b,13b)
- 🔥 llama-2(7b,13b,70b)
- baichuan(7b,13b)

开源地址： https://github.com/eosphoros-ai

原生对话

原生对话是指大模型提供的原生能力，通过DB-GPT提供的统一对话界面可以实现与大模型的流式对话体验，感受大模型的能力。原生对话无需选择任何场景，直接在下方的输入框当中进行提问，即可感受原生对话的能力。通过DB-GPT提供的统一ChatUI，可以丝滑体验大模型的能力。

知识库(Chat Knowledge)

DB-GPT中知识库，是指基于私域文档、数据进行问答与数据处理的能力，目前已支持 txt、pdf、markdown、html、doc、ppt、csv多种文档类型。同时在知识库管理上，DB-GPT提供了知识空间(Knowledge Space)。在使用时首先通过知识空间，将文档、数据上传到知识空间做向量化。