基于DB-GPT与Google Bard构建知识库问答系统

关注

VIP免费原创 2023-08-01 16:56:41 1.3k 阅读 AI 写同款· GEO 优化 ›

从模型竞赛到时间争夺：AI下半场的工程化与产品化转向在人工智能领域，大语言模型和生成式AI的技术突破引发了广泛关注。这些模型基于Transformer架构，通过海量数据训练获得强大的理解和生成能力。其技术价值在于能够处理复杂任务，如代码生成、文本创作和多模态理解。然而，从技术原理到实际应用存在工程鸿沟，涉及模型部署、提示工程和上下文管理等工程实践挑战。当前，AI竞赛的核心正从单纯的模型能力比拼，转向对用户时间和注意力的争夺，这要求技术方案必须深度集成到具体应用场景中，提供流畅的体验。Google最近的团队调整正反映了这一行业趋势，即更加注重AI工程化和产品化阅读详情

背景

在人类发展历史上，有两样东西是持续伴随整个人类发展的, 1. 知识 2. 工具。大模型出现之后，尤其是ChatGPT发布之后，因其具备的推理、逻辑能力，尤其是说不明，道不清的涌现能力，把AI的能力推向了一个新的层次。不仅仅引爆了整个科技圈，也随着媒体铺天盖地的宣传与渲染，被越来越多的用户所了解。随着围绕大模型的产品与应用的不断推出，非常多用户感受到了AI的魅力。在自然语言领域，各种知识库、写作、文档工具正在改变大家的学习知识、文档检索与撰写的方式。在多模态领域，Midjourney，stable diffustion的表现也非常火热，很多图形、设计类的工作也在发生者巨大的改变。

更令人惊喜的是最近秒鸭相机的出圈，让围绕大模型的应用与落地充满了期待。一个崭新的时代，正在加速拉开帷幕，为我们贡献精彩绝伦的表演。处在时代中的我们，是多么的幸运，尤其是处在这个时代的开发者们，我们正在见证也在深度参与一个伟大的时代，也亲眼目睹它的到来。

AIGC的大航海时代已经开启，热血的开发者们，想要大模型带来的财宝吗？想要的话就去追逐吧，所有的财宝已经被放在大模型里面了，去解开它的秘密吧。扬起你的帆船，带上你的伙伴，去找吧～

One piece， we are coming～

扯远了，我们言归正传 😂，在本文中，我们主要介绍DB-GPT的一些能力以及简要的使用手册，同时如何基于DB-GPT与Google Bard在本地跑一个知识库问答系统。

功能概览

目前DB-GPT已经发布了多种关键的特性:

SQL 语言能力, SQL生成、诊断
私域问答与数据处理
- 知识库管理(目前支持 txt, pdf, md, html, doc, ppt, and url)
- 数据库知识问答
- 数据处理
数据库对话
Chat2Dashboard
插件模型
- 支持自定义插件执行任务，原生支持Auto-GPT插件。如:
- SQL自动执行，获取查询结果
- 自动爬取学习知识
知识库统一向量存储/索引
- 非结构化数据支持包括PDF、MarkDown、CSV、Word、Txt、PPT、WebURL等等
多模型支持, 支持多种大语言模型, 当前已支持如下模型:
- Vicuna(7b,13b)
- ChatGLM-6b(int4,int8)
- guanaco(7b,13b,33b)
- Gorilla(7b,13b)
- 🔥 llama-2(7b,13b,70b)
- baichuan(7b,13b)

开源地址： https://github.com/eosphoros-ai

原生对话

原生对话是指大模型提供的原生能力，通过DB-GPT提供的统一对话界面可以实现与大模型的流式对话体验，感受大模型的能力。原生对话无需选择任何场景，直接在下方的输入框当中进行提问，即可感受原生对话的能力。通过DB-GPT提供的统一ChatUI，可以丝滑体验大模型的能力。

知识库(Chat Knowledge)

DB-GPT中知识库，是指基于私域文档、数据进行问答与数据处理的能力，目前已支持 txt、pdf、markdown、html、doc、ppt、csv多种文档类型。同时在知识库管理上，DB-GPT提供了知识空间(Knowledge Space)。在使用时首先通过知识空间，将文档、数据上传到知识空间做向量化。