基于大模型LLama2+Langchain构建知识库问答系统

目录

1 背景

2 应用

3 技术选型

3.1 需求描述

3.2 方案分析

3.2.1 基于微调

3.2.2 基于提示工程

3.2.3 与搜索结合

3.3 方案设计

3.4 技术选型

3.4.1 LangChain

3.4.2 LLM模型

3.4.3 词向量模型

3.4.4 Langchain-Chatchat

4 Langchain-Chatchat

4.1 功能

4.2 架构设计

5 部署搭建

5.1 环境准备

5.1.1 硬件环境

5.1.2 软件环境

5.2 模型准备

5.3 项目下载

5.4 依赖安装

5.5 参数配置

5.5.1 创建配置文件

5.5.2 创建model_config.py文件

5.5.3 创建server_config.py文件

5.6 初始化数据库

5.7 启动

5.7.1 一键启动

5.7.2 依次启动

5.8 使用

5.8.1 LLM对话模式

5.8.2 知识库问答模式

---

1 背景

知识库需求在各行各业中普遍存在，例如制造业中历史故障知识库、游戏社区平台的内容知识库、电商的商品推荐知识库和医疗健康领域的挂号推荐知识库系统等。传统知识库搜索系统基于关键字匹配，缺少对用户问题理解和答案二次处理能力。为保证推荐系统的实效性和准确性，需要大量的数据/算法/软件工程师的人力投入和包括硬件在内的物力投入。其次，为了进一步提高搜索准确率，如何引导用户搜索描述更加准确和充分利用用户行为优化搜索引擎也是常见的用户痛点。此外，如何根据企业知识库直接给出用户提问的答案也是众多企业中会遇见的技术瓶颈。

大语言模型（Large Language Model，LLM）是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。近几年来，大语言模型的发展十分迅速，探索使用大语言模型，通过其对自然语言理解和生成的能力，揣摩用户意图，并对原始知识点进行汇总、整合，生成更贴切的答案。