在windows 台式机电脑部署GLM4大模型

原创 已于 2024-06-18 12:52:11 修改 · 1.2k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#电脑 #ChatGLM4

于 2024-06-18 08:13:34 首次发布

参考这篇文章在windows笔记本电脑部署GLM4大模型_16g显卡本地部署glm4-优快云博客

我的环境（PC台式机电脑：
处理器    Intel(R) Core(TM) i9-14900K   3.20 GHz
机带 RAM    32.0 GB (31.8 GB 可用)、32G内存、NVIDIA RTX4080（16G）、Windows 10 专业版）

基本完成处理相关软件的安装，

目前能启动trans_cli_demo.py,

中途出现torch安装错误，导致启动执行效率非常低.

后续再重新卸载torch:pip uninstall torch

pip

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

可以正常 启动，但是报需要下载：

https://cdn-media.huggingface.co/frpc-gradio-0.2/frpc_windows_amd64.exe</

最低0.47元/天 解锁文章
klzsr
关注
5. GLM4入门介绍
Andy_shenzl的博客
03-21 5744
也就是说，assistant消息和role消息是一一对应的，而且在一般情况下，assistant消息只会围绕messages参数中的最后一个role信息进行回答。system role用于身份设定不过，值得一提的是，user和assistant的这种提问方式尽管足够清晰，但往往形式上不够丰富，例如在实践中人们发现，给聊天机器人进行一个身份设置，其实是非常有效的引导模型创作我们想要的结果的方法，例如如果我们希望获得一个关于“什么是机器学习？
AI大模型探索之路-应用篇13：企业AI大模型选型指南
寻道AI，探索AI无限可能！
04-16 4134
在打造企业AI大模型的路上，我们常常会遇到一系列的选型和概念挑战。例如，如何选择合适的模型，如何挑选GPU，以及什么是微调和监督微调等。本文旨在深入剖析这些常见问题，为大家提供一个全面的概览，帮助大家更好地理解和利用这些强大的工具。
智谱AI发布国产最强大模型GLM4，理解评测与数学能力仅次于Gemini Ultra和GPT-4，编程能力超过Gemini-pro，还有对标GPTs商店的GLMs
DataLearnerAI
01-16 8293
这是在智谱AI开发者大会上推出的新一代基座大语言模型，GLM4相比较此前最大的特点是三个变化：性能全面提升、上下文长度更长、支持更强的多模态能力。GLM4（GLM4）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息 | 数据学习 (DataLearner)
三分种基于GLM4构建一个代码探索智能体
qq_53794425的博客
01-18 2107
1 月 16 日GLM4发布，时隔两天我也薅一波羊毛，结果被GLM4的智能体震惊了！本文将分享我使用GLM4搭建智能体的初步体验，以及它给我带来的惊喜。我将搭建一个代码探索测试的智能体，来上传一段我最近耗到一段代码做测试
在windows笔记本电脑部署GLM4大模型
weixin_39945822的博客
06-13 6212
在Windows笔记本电脑上部署GLM4大模型。
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 5505
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
LangChain-Chatchat (原 Langchain-ChatGLM)Windows环境部署（台式机但是笔记本显卡）
wuji0301cata的专栏
03-19 1559
请注意，LangChain-Chatchat 0.2.x 系列是针对 Langchain 0.0.x 系列版本的，如果你使用的是 Langchain 0.1.x 系列版本，需要降级您的Langchain版本。bge-large-zh-v1.5也是类似，官网写的ge-large-zh，但实际用的large-zh-v1.5，不过两个都下载也没关系，不太大。接着，创建一个虚拟环境，并在虚拟环境内安装项目的依赖，以下命令均在gitbash的窗口中运行，gitbash内置git和类似linux的命令。
本地离线模型搭建指南-本地运行显卡选择
Master_Shifu_的博客
06-23 4640
搭建一个本地中文大语言模型（LLM）涉及多个关键步骤，从选择模型底座，到运行机器和框架，再到具体的架构实现和训练方式。以下是一个详细的指南，帮助你从零开始构建和运行一个中文大语言模型。本地离线模型搭建指南将按照以下四个部分展开。
chatglm2-6b-int4大语言模型家用电脑部署
书写心得，分享感悟
08-19 1350
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM 4本地部署指南(Docker容器版)
Qinghub‘博客
06-06 7311
GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。 **GLM-4V-9B** 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 都表现出卓越性能。
GLM4实践-GLM4智能体的本地化实现及部署
YELLOWAUG的博客
04-03 8071
实现GLM4智能体的本地化部署及调用，本文较长，涉及的技术点也较多
chatglm4本地部署详解
lstef的博客
06-16 8338
跟chatglm3回复速度相比，简直是慢动作中的慢动作。把它修改成glm-4-9b-chat的路径：/home/ls/文档/GLM4/glm-4-9b-chat。composite_demo文件夹中的requirements.txt文件夹，是此版本需要安装的依赖。accelerate>=0.30.1，也是类似情况，但指定源下载依然不奏效。（浏览器下载也失败了2次，反正都是断点续传，继续重复执行下载即可。glm-4-9b-chjat为已经训练的参数。另一种是，手动从web下载安装文件后安装。
从零开始：在Windows上部署大型模型
2401_84204207的博客
07-03 2416
这是一个超详细安装教程，介绍了在 Window 电脑上如何部署 Qwen1.5 大模型。本文还涉及到 Python 及其环境的配置。适合对象：有点后端编程基础，没有 Python 基础。需要环境：Window10/11，支持 Cuda 的 Nvidia 显卡。
本地部署GLM-4-9B清华智谱开源大模型方法和对话效果体验
老牛啊
06-08 2526
清华大学和智谱AI推出了全面升级的新一代基座大模型GLM-4，整体性能相比GLM3提升60%，支持128K上下文，可根据用户意图自主理解和规划复杂指令、完成复杂任务……
ChatGLM4部署教程
SJJS_1的博客
08-13 1262
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。
ChatGLM4部署教程（非常详细）零基础入门到精通，收藏这篇就够了
2401_85280106的博客
12-26 2989
GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。
GLM4模型环境配置+模型微调+模型部署学习笔记
weixin_42264784的博客
07-23 2219
本篇文章的目的在于记录视频学习如何对大预言模型的实操。
【GLM-4部署实战】GLM-4-9B-Chat模型本地部署实践指南
热门推荐
寻道AI，探索AI无限可能！
08-13 1万+
在人工智能的浪潮中，深度学习模型的部署已成为技术研究和实践的热点。自然语言处理（NLP）领域，尤其是对话系统，正迅速成为智能应用的核心。GLM-4-9B-Chat模型以其卓越的语言理解与生成能力，为构建智能对话系统提供了坚实的基础。然而，模型的部署并非易事，它涉及到环境配置、依赖管理、代码编写等多个环节。本文将通过本地模型推理和OpenAI API风格服务发布测试，带你一步步完成GLM-4-9B-Chat模型的部署实践，让你对深度学习模型的部署有一个全面而深入的理解。
windows11gpu部署glm4
最新发布
01-21
### 如何在 Windows 11 上使用 GPU 部署 GLM4 模型 为了成功在 Windows 11 上部署 GLM4 大模型并利用 GPU 加速，需遵循一系列配置步骤来确保环境设置正确无误。 #### 设置 CUDA 环境变量 对于 Windows 用户来说，在安装 NVIDIA 的 CUDA 工具包之后，应当设定相应的环境变量以便 Python 和其他工具能识别到 CUDA 安装路径。具体操作是在系统属性中的高级设置里添加新的环境变量 `CUDA_PATH_V12_4` 并指向已安装的 CUDA 版本目录，例如 `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4`[^3]。 #### 准备必要的库和支持文件 确保已经安装了适用于 Windows 的 PyTorch 库版本，并且该版本支持所使用的 CUDA 版本。可以通过 pip 或 conda 来完成这一过程。此外还需要安装 transformers 库以及其他可能依赖的支持软件包： ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu124/ pip install git+https://github.com/huggingface/transformers.git ``` #### 下载预训练模型 从 Hugging Face Model Hub 获取目标模型权重和其他资源。这里以 THUDM/chatglm3-6b 为例说明如何加载量化后的模型实例： ```python from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True) model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda() ``` 这段代码会下载指定名称下的预训练模型及其分词器，并将其转换成适合低内存设备运行的形式——即采用 INT4 位宽进行权重量化处理后再转移到 GPU 设备上执行[^1]。 #### 测试模型功能 最后一步是对刚刚建立好的模型对象做简单的测试验证其正常工作状态。这通常涉及创建一些输入数据供模型预测输出结果，比如下面的例子展示了怎样让聊天机器人回应给定提示语句的方式来进行交互对话模拟： ```python input_text = "你好" inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"User: {input_text}") print(f"Bot : {response}") ``` 以上就是在 Windows 11 中基于 GPU 实现 GLM4 模型快速启动的方法概述。需要注意的是实际应用过程中可能会遇到各种各样的兼容性和性能优化方面的问题，因此建议保持对官方文档和技术社区的关注获取最新指导信息。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值