GLM-4系列模型安装与配置指南
项目地址: https://gitcode.com/gh_mirrors/gl/GLM-4 项目基础介绍与主要编程语言
GLM-4系列是由智谱AI推出的开源多语言多模态聊天模型。其中，GLM-4-9B作为该系列的重要组成部分，它在多种数据集上展现出优越的语义理解、数学、逻辑推理、编码及知识库应用能力，支持包括中文、英语在内的26种语言。此项目基于Python实现，利用深度学习技术特别是Transformer架构，结合多模态处理能力，提供了丰富的对话和信息处理功能。
关键技术和框架
- 深度学习框架: 主要依赖Transformer库，尤其是Hugging Face的
transformers库来处理模型的加载、微调和推理。 - 模型后端: 支持原生Transformers推理引擎以及优化后的vLLM服务。
- 多模态处理: 针对GLM-4V-9B模型，涉及到图像处理，可能依赖于Pillow库等用于图像加载和转换。
- 多语言支持: 利用预训练模型的多语言特性，适用于跨语言应用场景。
安装和配置步骤
准备工作
-
环境需求：确保你的系统已经安装了Python 3.7或更高版本。
-
虚拟环境：推荐创建一个虚拟环境以隔离项目依赖。可以使用
venv或conda。python3 -m venv glm_env source glm_env/bin/activate # Linux/macOS glm_env\Scripts\activate # Windows -
安装基础包：
pip install --upgrade pip
详细安装步骤
1. 克隆项目
从GitHub获取项目副本：
git clone https://github.com/THUDM/GLM-4.git
cd GLM-4
2. 安装依赖
- 根据基本示例安装所需包：
pip install -r basic_demo/requirements.txt - 若项目有更新的依赖要求，记得检查项目的最新说明文件中是否有额外的依赖项。
3. 下载模型权重
- 对于GLM-4-9B系列模型，你需要从Hugging Face Model Hub下载对应的模型权重文件。这通常通过Hugging Face CLI或直接在模型页面下载完成。
4. 配置环境变量（可选）
如果你使用GPU，设置CUDA设备：
export CUDA_VISIBLE_DEVICES=0
5. 快速启动示例
使用Transformers后端示例
编辑Python脚本以加载模型并进行简单的询问：
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH = "THUDM/glm-4-9b-chat"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, trust_remote_code=True, device_map="auto"
)
query = "你好，世界！"
inputs = tokenizer.apply_chat_template([[{"role": "user", "content": query}]], add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(**inputs, max_length=250)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
注意事项
- 对于GLM-4V-9B模型，若涉及多模态处理，需确保图片处理相关库已安装，并遵循特定的输入格式。
- 配置模型时，确保GPU内存足够，否则可能需要调整模型加载策略或使用CPU模式。
- 对于使用vLLM后端的场景，请按照项目文档中vLLM的相关指令配置环境和参数，因为这可能需要特殊的配置和环境准备。
完成上述步骤后，你应该能够成功地在本地环境中运行GLM-4系列模型进行对话交互。确保随时查阅项目官方GitHub页面，以便获取最新的安装指导和更新信息。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
