大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型

最新推荐文章于 2025-09-27 17:44:25 发布
原创 最新推荐文章于 2025-09-27 17:44:25 发布 · 1.5k 阅读 · 32 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #大模型 #stable-diffusion

大模型学习笔记（一）：部署ChatGLM模型以及stable-diffusion模型

注册算力平台（驱动云平台）

1.平台注册

平台注册链接：
https://growthdata.virtaicloud.com/t/SA

2.查看算力

注册完成后，点击右上角：费用中心，可查看领取的算力。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.进入平台中心

https://platform.virtaicloud.com/

部署ChatGLM3-6B模型

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
推理速度比上一代提高了很多，虽然本教程有两种启动方式，但教程作者强烈推荐使用streamlit体验，效果极佳。

1.创建项目

  • 创建好账号之后，进入自己的空间，点击右上角的创建项目。

在这里插入图片描述

  • 给项目起一个你喜欢的名称，选择添加镜像
    在这里插入图片描述
  • 镜像选择pytorch2.0.1，Conda3.9
    在这里插入图片描述
  • 选择预训练模型，点击公开，选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。
    在这里插入图片描述
  • 都选完之后，点击右下角的创建，代码选择暂不上传。待会直接clone代码。
    在这里插入图片描述
  • 点击运行代码
    在这里插入图片描述
  • 资源配置选择：B1.large， 24G的显存足够加载模型了。其他的不需要设置，然后点击右下角的开始运行。
    在这里插入图片描述

2.配置环境

  • 等右边两个工具全部加载完毕之后，再点击JupyterLab进入开发环境~

在这里插入图片描述

  • 进入界面之后是这样的，然后点击这个小加号。
    在这里插入图片描述
  • 点击t
最低0.47元/天 解锁文章
lukem44
关注
OpenVINO 2024.1 发布：增强大型语言模型性能与扩展生成式AI支持
03-30
新版本引入了多个最先进的预训练模型如 Llama3 和 Phi-3，并优化了 Mixtral、URLNet、Stable Diffusion 1.5、ChatGLM3-6b 和 Qwen-7B 等模型的性能。此外，还增加了对 Falcon-7b-Instruct 的支持，提供了压缩嵌入、...
大模型的实践应用4-ChatGLM-6b大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读
微学AI的博客
10-24 9891
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用4-ChatGLM大模型的结构与核心代码解读，最全的ChatGLM模型架构介绍与源码解读，本文介绍将ChatGLM-6B的模型结构，与设计原理。
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
AAI666666的博客
05-17 1672
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用，当时就被大模型效果惊艳到啊，只是没想到短短3年多，大模型效果提升这么快。学不完，根本学不完…大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。
大模型之chatglm系列模型
最新发布
weixin_44245188的博客
09-27 1049
三种预训练框架各有利弊，没有一种框架在以下三种领域的表现最佳：自然语言理解（NLU）、无条件生成以及条件生成。T5曾经尝试使用MTL的方式统一上述框架，然而自编码和自回归目标天然存在差异，简单的融合自然无法继承各个框架的优点。在这个天下三分的僵持局面下，GLM诞生了。。
ChatGLM 大模型应用构建 & Prompt 工程
qq_56591814的博客
09-19 7006
本次报告旨在从理论技巧和案例等多个角度，剖析大模型应用构建和指令工程。报告将结合大模型行业的探索经验，深入介绍Chat GLM的功能，并探讨如何最大化其优势。最终目标是为企业找到适合的大模型产品技术方案，以实现成功的落地应用。
自学大语言模型之ChatGLM(一)
qq_38915354的博客
05-21 1488
大语言模型GLM
本地部署：如何本地化部署开源大模型ChatGLM3-6B
qq_33240556的博客
03-14 1710
ChatGLM3-6B有3个参数可以设置。max_length：模型的总token限制，包括输入和输出的tokens。temperature：模型的温度。温度只是调整单词的概率分布。它最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。数字越小，给出的答案越精确。top_p：模型采样策略参数。每一步只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的词。只关注概率分布的核心部分，忽略了尾部。
大模型落地全解析：技术路径、实践案例与工程方案
zzywxc787的博客
08-04 778
摘要： 大语言模型（LLM）的行业落地面临技术适配、场景融合等挑战。本文系统解析四大核心路径：1）微调技术（全量微调、LoRA等方案选择与代码实践）；2）提示词工程（设计原则、思维链技术及客服优化案例）；3）多模态应用（跨模态架构、商品图文生成实践）；4）企业级解决方案（RAG系统、模型压缩部署及安全合规）。通过技术对比、流程图解和代码示例，提供从算法到工程的全链路落地指南，助力企业实现大模型价值转化。未来趋势指向模型小型化、多模态融合与工具增强，强调以业务需求驱动技术选型。
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1994
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
【笔记】大模型业务场景流程综述
m0_46141283的博客
08-26 782
大模型是指具有大规模参数和复杂计算结构的深度学习模型，这些模型通常由众多神经网络构建而成，拥有数十亿甚至数千亿个参数。本章将围绕大模型概念及特点展开，介绍模型算法的分类、典型大模型及应用、大模型训练流程和大模型业务流程。GPT4是一种最先进的会话语言模型，来自各种来源的大量文本数据的训练，包括社交媒体、书籍和新闻文章。该模型能够对文本输入生成类似人类的响应，使其适用于聊天机器人和对话式人工智能系统等任务。另一方面，GPT-3是一种大规模语言模型，它已经在来自各种来源的大量文本数据上进行了训练。
ChatGLM 本地部署指南（问题解决）
Qinghub‘博客
05-10 1602
ChatGLM 本地部署指南，部署问题解决
国产大语言模型ChatGLM3本地搭建、使用和功能扩展
m0_63171455的博客
06-05 1996
ChatGLM3]
一张图说清楚：大模型“大”在哪？ChatGLM模型结构详解
xian0710830114的专栏
05-06 8082
大型模型的神秘并不是不可透视的，今天我们以ChatGLM-6B为例，解析一下模型结构和代码。你会发现，大模型结构并没有那么神秘，相反还挺清晰的，就是Transformer的decoder改造而来的。我们还会看到模型中参数最密集的部分，这也是模型“大”的原因。
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍
AI大模型应用之禅
06-01 1188
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍 1.背景介绍 1.1 人工智能大模型的崛起 近年来,人工智能领域取得了长足的进步,其中大模型(Large Model)的出现无疑
记录部署ChatGLM大语言模型过程
h363924219的博客
06-08 3868
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
Stable Diffusion、ChatGPT爆火的背后！
AI科技大本营
02-03 1665
整编 |Carol参考 |《AIGC 发展趋势报告 2023》出品 | AI科技大本营“Generative AI（生成式AI）有什么社会价值？”当腾讯研究院的研究员将上面这个问题输入到ChatGPT中，得到如下回复："生成式AI是一种人工智能技术，它可以使用训练数据来生成新的内容。这种技术可以用来解决各种问题，具有很高的社会价值。例如，它可以用来生成文本、图像、音频和视频，这些内容可以用来帮助...
【人工智能AI2.0】清华发布了 ChatGLM-6B & 中国大模型5支学术界团队和10大产业界力量介绍
热门推荐
AI天才研究院
03-18 2万+
清华技术成果转化的公司智谱 AI 开源了系列模型 ChatGLM-6B，这是一个支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。GLM 模型开源地址：ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。
[LLM]Streamlit+LLM(大型语言模型)创建实用且强大的Web聊天机器人
摩登都市天空---专栏
12-20 2953
Streamlit 是一个开源框架，使开发人员能够快速构建和共享用于机器学习和数据科学项目的交互式 Web 应用程序。它还提供了一系列小部件，只需要一行 Python 代码即可创建，例如。对于我们创建一个简单的用于私人使用的聊天机器人网站来说，Streamlit 是一个非常合适的库，它还提供了第三方 Streamlit_chat 库，进一步方便我们生成“聊天式” Web 应用程序，因为我们不需要写大量的 HTML 元素和 CSS 内容。
探索AI应用领域：智谱清言（ChatGLM）技术详解
z551646的博客
08-23 7658
智谱清言大模型，即GLM-4，是国内较为出色的大模型之一，由智谱AI公司研发，十余项指标逼近或达到GPT-4，支持更长上下文、更强多模态、更快推理速度、更多并发、更强智能体，可处理多种语言任务，包括问答、翻译、文本生成、情感分析等，适用于教育、科研、客户服务、内容创作等多个领域。
stable-diffusion-webui模型构建
06-25
构建和部署 `stable-diffusion-webui` 模型涉及多个步骤，包括环境准备、模型下载、文件存放路径配置以及服务启动。以下是详细的流程说明： ### 环境准备 在开始之前，请确保系统中已经安装了以下组件： - **Python**（建议版本为 3.8 或更高） - **Git** - **CUDA Toolkit**（如果使用 NVIDIA GPU） - **Docker**（可选，用于容器化部署） 此外，还需安装必要的依赖库，例如 `PyTorch` 和 `transformers` 等。 ### 下载 stable-diffusion-webui 可以通过克隆官方仓库来获取 `stable-diffusion-webui` 的源码： ```bash git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git cd stable-diffusion-webui ``` ### 模型文件存放路径 为了确保模型能够正常加载，需要将不同类型的模型文件放置到指定的目录中： - **LoRA 模型**：`/root/stable-diffusion-webui/models/Lora/` - **Checkpoints 模型**：`/root/stable-diffusion-webui/models/Stable-diffusion/` - **ControlNet 模型**：`/root/stable-diffusion-webui/models/ControlNet/` - **Embeddings 模型**：`/root/stable-diffusion-webui/embeddings/` - **Hypernetworks 模型**：`/root/stable-diffusion-webui/models/hypernetworks/` - **VAE 模型**：`/root/stable-diffusion-webui/models/VAE/` 每次添加新模型后，都需要重启 `stable-diffusion-webui` 服务以使更改生效 [^1]。 ### 部署方式 #### 使用 Docker 部署 可以使用 Docker 来简化部署过程，并通过挂载卷的方式将本地目录映射到容器内部： ```bash docker run -it -d --name stable-diffusion \ -p 7860:7860 \ --gpus all \ --network host \ -v /data/stable-diffusion-webui/openai:/app/stable-diffusion-webui/openai \ -v /data/stable-diffusion-webui/models:/app/stable-diffusion-webui/models \ -v /data/stable-diffusion-webui/outputs:/app/stable-diffusion-webui/outputs \ --rm registry.example.com/stable-diffusion-webui:latest-cuda \ bash webui.sh --share --listen --gradio-auth username:password ``` 此命令会启动一个包含所有必要依赖的 Docker 容器，并将模型、输出等目录映射到宿主机上 [^2]。 #### 手动部署（Ubuntu） 如果你选择手动部署，可以按照以下步骤操作： 1. 解压模型文件： ```bash tar -xvf models--bert-base-uncased.tar.gz -C ~/.cache/huggingface/hub/ ``` 2. 进入项目目录并运行启动脚本： ```bash cd stable-diffusion-webui ./webui.sh ``` 该脚本会自动检测并安装所需的依赖项，并启动 Web UI 服务 [^3]。 ### 启动服务 无论是通过 Docker 还是手动方式，启动服务后都可以通过浏览器访问 `http://localhost:7860` 来打开 `stable-diffusion-webui` 的界面。 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值