快速部署ChatGLM-6B大模型实战总结

原创 已于 2024-06-06 15:52:01 修改 · 273 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #langchain #人工智能 #python #大模型

于 2024-05-29 11:46:16 首次发布

近期，IT界掀起了大模型的热潮，各种百模争霸的局面出现。我对新技术充满热情，积极体验各类 GPT AI 产品，包括领先的 GPT 龙头 ChatGPT，百度的文心一言和文心千帆、阿里的通义千问以及金山的 WPSAI 等。

作为这些产品的忠实测试者之一，我同时也尝试过这些产品的 API 接口，与微信对接，实现了微信聊天机器人。然而，当开源的大模型 ChatGLM 面世时，我却遇到了一些困扰，但幸运的是，腾讯云给了我一个难得的机会。

腾讯云最近推出一项限时特惠活动，仅需72元/15天就能获得计算型 GPU 云服务器，让我有机会亲自体验自建模型和微调训练的过程。我把这份自建模型的乐趣写成文字，分享给你。

服务器

凭手速迅速抢到了一台GPU云服务器，以下是配置信息：

配置环境

下载项目仓库

代码语言：javascript

root@VM-0-17-ubuntu:~# git clone https://github.com/THUDM/ChatGLM-6B
root@VM-0-17-ubuntu:~# cd ChatGLM-6B/
构建conda环境

代码语言：javascript

root@VM-0-17-ubuntu:~# conda create --name chatglm python=3.8
root@VM-0-17-ubuntu:~# conda activate chatglm
下载依赖

在conda虚拟环境下，下载chatglm需要的依赖文件, 这里需要的时间比较长，需要耐心等待：

代码语言：javascript

root@VM-0-17-ubuntu:~# pip install -r requirements.txt

你以为就是上面简单的几句命令吗，中间安装的过程充满了各种异常、困难需要解决，这里不一一列出，如果你去真正做一次，就会深刻体会“知易行难”这句话。

数据模型

下载安装git-lfs

代码语言：javascript

root@VM-0-17-ubuntu:~# apt-get install git-lfs
root@VM-0-17-ubuntu:~# git lfs install
下载模型文件

https://github.com/THUDM/ChatGLM-6B 官方网站

从ChatGLM的官方库中下载，将模型文件我放到工程的 ChatGLM-6B/THUDM 目录下面。

代码语言：javascript

root@VM-0-17-ubuntu:~# cd ChatGLM-6B && mkdir THUDM
root@VM-0-17-ubuntu:THUDM# git lfs clone https://huggingface.co/THUDM/chatglm-6b

模型文件比较大(25G)，这里下载需要的时间很长，请耐心等待，以下是目录下载后模型目录下的文件：

测试

终端运行 Demo

进入ChatGLM-6b工程的根目录。执行python cli_demo.py

终于看到了成果，虽然对于一些知识的回答不准确，但这只是数据问题，程序还是跑起来了。

Web端运行

进入 ChatGLM-6B 工程的根目录，执行如下命令：

代码语言：javascript

root@VM-0-17-ubuntu:ChatGLM-6B# python -m streamlit run web_demo2.py --server.port 27777 --server.address 0.0.0.0

执行成功的效果如下：

打开浏览器可见到如下界面：

跟它对话一下，看看效果：

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Langchain
关注
【大语言模型】10分钟快速了解并部署ChatGLM-6B
小哲的博客
06-25 1693
ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人。根据官方介绍，这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本，约60亿参数，本地部署仅需要6GB显存（INT4量化级别）。ChatGLM-6BChatGLM-6B具备的能力自我认知：“你是谁”，“介绍一下你的优点”提纲写作。
ChatGLM-6B部署、实战与微调
m0_47867638的博客
06-29 1784
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM6B LORA微调
人上人酿酒师的博客
07-03 1967
chatglm + LORA 微调
【官方教程】ChatGLM-6B 微调，最低只需 7GB 显存
AITIME_HY的博客
04-02 9230
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！内容来自：GLM大模型自3月14日开源以来，ChatGLM-6B 模型广受各位开发者关注。截止目前仅 Huggingface 平台已经有 32w+ 下载，Github Star 数量超过11k。为了促进 ChatGLM-6B 模型在各垂直领域的应用，我们现推出基于 P-Tuning v2 的微调方案。P-Tuning v2 将需要微调的参...
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
【Python大语言模型系列】Windows环境下部署Chatglm2-6B-int4大语言模型（完整教程）
数据杂坛
07-10 505
Windows环境下部署Chatglm2-6B-int4大语言模型（完整教程）
0基础搞工程-基于Chromadb+Chatglm6-2B私有知识库的智能回答系统-1
it_farmer_01_17的博客
07-10 930
我们给出了一个可以自行设计的可落地的工程，基于langchain，chromadb，chatglm6-2b，gradio的基于本地知识库的问答模型，给出一套行之有效的结果方案和代码，并正在持续改进和云化实现
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
dream_home8407的博客
04-12 5万+
ChatGLM2-6B 模型介绍及训练实战
TensorRT-使用TensorRT部署ChatGLM2-6B大模型-优质大模型部署项目实战.zip
10-21
本项目实战课程将详细介绍如何使用TensorRT部署ChatGLM2-6B这样的大型模型，通过本课程的学习，开发者可以掌握如何将训练好的模型转换为TensorRT引擎，从而在实际应用中获得高效的推理性能。 首先，我们需要了解...
使用P-Tuning v2微调ChatGLM-6B大模型
weixin_44151034的博客
11-27 1069
=我们选择的系统和pytorch版本是：torcheasyrec:0.6.0-pytorch2.5.0-gpu-py311-cu121-ubuntu22.04 ==但是虽然 V100 性能更好，我们测试使用没必要，就选 A10 就可以，A10 显卡每小时消耗6.991计算时，如果不关机持续使用大概可以使用30天。，可以进一步调整一下里面的share参数，让这个变成公共参数的，就是有了url以后，大家都能打开。如果显存和内存清理的很干净，它的回答效果会很好。如果清理的不干净，那么回答的效果会很差。
（二）ChatGLM-6B模型部署以及ptuning微调详细教程
西风瘦马
04-09 2万+
ChatGLM-6B模型训练，ptuning微调，大语言模型，LLM
ChatGLM-6B (介绍以及本地部署)
qq128252的博客
03-17 2万+
ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
大模型的实践应用4-ChatGLM-6b大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读
微学AI的博客
10-24 9891
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用4-ChatGLM大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读，本文介绍将ChatGLM-6B的模型结构，与设计原理。
ChatGLM-6B部署和微调实例
weixin_45734379的博客
01-17 2176
ChatGLM-6B是本人尝试使用和微调的第一个大语言模型，自我感觉该模型很适合作为大语言模型的入门级选手，无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署ChatGLM-6B，以及ChatGLM-6B推理和P-tuning v2微调基本步骤，希望可以帮助大家使用ChatGLM-6B。
清华 ChatGLM-6B 中文对话模型部署简易教程
热门推荐
小白的成长
03-20 6万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
ChatGLM-6B微调与部署
dzysunshine的博客
05-05 1万+
ChatGPT所展现出的强大能力，足以使许多行业发生翻天覆地的变化，而通过微调及部署较小的模型，在一些垂直领域达到和ChatGPT相近的效果，显得尤为重要。本文从模型参数，中文，微调难度等多角度考虑，选取了ChatGLM-6B模型来进行实验，主要分为3个部分：基于ChatGLM-6B的部署，基于peft框架的LoRA微调ChatGLM-6B，基于P-Tuning v2微调ChatGLM-6B（官方）。
ChatGLM-6B的安装和使用最全面细节讲解
月亮的博客
06-01 5934
ChatGLM-6B是一个基于General Language Model (GLM)架构的开源对话语言模型，支持中英双语。该模型使用了和ChatGPT类似的技术进行优化，经过1T标识符的中英双语训练，同时辅以监督微调、反馈自助和人类反馈强化学习等技术，共有62亿参数。
ChatGLM-6b本地安装手把手教学
csdn570566705的博客
06-27 1408
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
全网最新版ChatGLM-6B开源模型环境详细部署及安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型
weixin_43815222的博客
06-19 2975
ChatGPT的爆火让许多公司和个人都想要开发自己的大型语言模型，但是，由于算力和语言模型开发能力等诸多方面的限制，许多人最终都只能在开发的早期阶段止步不前。然而，近期清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布了对话机器人ChatGLM-6B的开源版本，这一切都变得更加容易了。这个中英文语言模型拥有千亿参数规模，并且对中文进行了优化。
阿里云ChatGLM-6B模型实战
最新发布
06-18
### 阿里云 ChatGLM-6B 模型实战应用与示例项目 阿里云 ChatGLM-6B 是一个强大的多模态对话模型，其基础模型 ChatGLM3-6B-Base 在多个任务中表现出色[^1]。以下是一些实战应用和示例项目的介绍： #### 1. 多轮对话系统 ChatGLM-6B 支持多轮对话功能，可以用于构建智能客服、虚拟助手等场景。通过设计合理的 Prompt 格式，模型能够理解上下文并生成连贯的回复[^1]。 ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("chatglm-6b") model = AutoModelForCausalLM.from_pretrained("chatglm-6b") def generate_response(prompt): inputs = tokenizer(prompt, return_tensors="pt") outputs = model.generate(**inputs, max_length=100) return tokenizer.decode(outputs[0], skip_special_tokens=True) response = generate_response("你好，今天天气怎么样？") print(response) ``` #### 2. 工具调用（Function Call） ChatGLM-6B 原生支持工具调用功能，可以集成外部 API 或服务以扩展模型的能力[^1]。例如，可以通过调用天气 API 来获取实时天气信息。 ```python import requests def get_weather(city): api_key = "your_api_key" url = f"http://api.weatherapi.com/v1/current.json?key={api_key}&q={city}" response = requests.get(url).json() return response["current"]["temp_c"] weather_info = get_weather("Beijing") print(f"当前北京的温度是 {weather_info}℃") ``` #### 3. 代码执行（Code Interpreter） 模型可以解析并执行简单的代码片段，适用于教育、编程辅助等场景[^1]。例如，用户可以输入一段 Python 代码，模型将返回执行结果。 ```python def execute_code(code): try: exec_locals = {} exec(code, {}, exec_locals) return str(exec_locals.get('result', None)) except Exception as e: return str(e) code = "result = 2 + 3" output = execute_code(code) print(output) # 输出 5 ``` #### 4. Agent 任务 ChatGLM-6B 可以作为 Agent 的核心组件，完成复杂任务，如自动化流程处理、数据收集等[^1]。以下是一个简单的 Agent 示例，用于自动发送邮件。 ```python import smtplib from email.mime.text import MIMEText def send_email(to, subject, body): sender = "your_email@example.com" password = "your_password" msg = MIMEText(body) msg['Subject'] = subject msg['From'] = sender msg['To'] = to with smtplib.SMTP_SSL("smtp.example.com", 465) as server: server.login(sender, password) server.sendmail(sender, [to], msg.as_string()) send_email("recipient@example.com", "测试邮件", "这是来自 ChatGLM-6B 的测试邮件") ``` #### 5. 更新系统软件 在部署 ChatGLM-6B 模型时，确保服务器环境是最新的。可以通过 `apt-get update` 命令更新系统软件包[^2]。 ```bash sudo apt-get update ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值