本文档介绍了LangChain-ChatGLM-6B和ChatGLM2-6B的基本原理、硬件和软件需求，以及开发部署过程中的常见问题与解决方案。涉及Python环境配置、模块安装、文件名冲突处理和命令行/Web UI交互的故障排除。通过修改LLM名称，可轻松切换到ChatGLM2-6B。全文旨在帮助新手顺利配置和使用这两个项目。
LangChain-ChatGLM-6B基本简介：
1、项目资源来源链接：
基于本地知识库的 ChatGLM 问答https://github.com/imClumsyPanda/langchain-ChatGLM
2、项目原理：
加载文件 ➝ 读取文本 ➝ 文本分割 ➝ 文本向量化 ➝ 问句向量化 ➝ 在文本向量中匹配出与问句向量最相似的top k个 ➝ 匹配出的文本作为上下文和问题一起添加到prompt中 ➝ 提交给LLM生成回答。
3、硬件需求：
-
ChatGLM-6B 模型硬件需求
| 量化等级 | 最低 GPU 显存（推理） | 最低 GPU 显存（高效参数微调） |
| FP16（无量化） | 13 GB | 14 GB |
| INT8 | 8 GB | 9 GB |
| INT4 | 6 GB | 7 GB |
-
Embedding 模型硬件需求
本项目中默认选用的 Embedding 模型
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
