没独显照样ChatGLM-6B+Langchain知识库

🎈前言

近来刷到不少大模型的文章，趁着五一拿ChatGLM3-6B搞一个知识库练练手，但是没有独显真的是硬伤，一路处处踩雷。总算是搞出来了一个还过得去的知识库，响应速度在能接受的范围内，这里记录一下，也希望能帮助想要尝试大模型的各位避下雷。

📄软硬件配置

硬件

• CPU（13th Inter core i5-13400）：10核16线程
• 内存：32GB
• 显卡：核显
• 固态硬盘：1T

软件

• ChatGLM3-6B（清华出品，号称10B以内最能打的预训练模型）：hf-mirror.com/THUDM/chatg…
• ChatGLM.CPP（类似 llama.cpp 的量化加速推理方案，实现笔记本上实时对话）：github.com/li-plus/cha…
• Langchain-Chatchat（检索增强生成(RAG)大模型知识库）：github.com/chatchat-sp…
• bge-large-zh-v1.5（向量模型）：hf-mirror.com/BAAI/bge-la…
• faiss（向量数据库）：安装Langchain-Chatchat时会安装

模型比较大，下载速度比较慢

🎥效果展示

动图左上角为量化后的ChatGLM3-6B，旁边为Langchain-Chatchat

LLM对话

首次对话速度会慢点，之后对话速度会快很多

知识库问答

Docker配置启动

不使用WSL 设置CPU、内存等配置的大小 docker-compose.yml

yaml复制代码# 安装docker-compose：pip install --upgrade pip;pip install docker-compose
# 部署命令：docker-compose up -d
# 关闭卸载：docker-compose down
# 描述 Compose 文件的版本信息
version: '3'
# 定义服务，可以多个
services