LangChain + ChatGLM-6B / ChatGLM2-6B 新手踩坑指南！

LangChain-ChatGLM新手指南：避坑与配置全解析

原创

于 2023-07-12 17:07:51 发布 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #ai

本文档介绍了LangChain-ChatGLM-6B和ChatGLM2-6B的基本原理、硬件和软件需求，以及开发部署过程中的常见问题与解决方案。涉及Python环境配置、模块安装、文件名冲突处理和命令行/Web UI交互的故障排除。通过修改LLM名称，可轻松切换到ChatGLM2-6B。全文旨在帮助新手顺利配置和使用这两个项目。

LangChain-ChatGLM-6B基本简介：

1、项目资源来源链接：

基于本地知识库的 ChatGLM 问答https://github.com/imClumsyPanda/langchain-ChatGLM

2、项目原理：

加载文件 ➝ 读取文本 ➝ 文本分割 ➝ 文本向量化 ➝ 问句向量化 ➝ 在文本向量中匹配出与问句向量最相似的top k个 ➝ 匹配出的文本作为上下文和问题一起添加到prompt中 ➝ 提交给LLM生成回答。

3、硬件需求：

ChatGLM-6B 模型硬件需求

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

Embedding 模型硬件需求

本项目中默认选用的 Embedding 模型

最低0.47元/天解锁文章