3分钟在趋动云上快速部署ChatGLM3-6B

3分钟在趋动云上快速部署ChatGLM3-6B

一、账号注册

打开趋动云算力平台注册链接：https://growthdata.virtaicloud.com/t/tA ，填写相关注册信息并进行注册

二、创建项目

点击左上角的当前空间切换到自己刚刚创建账号后默认的那个用户空间

点击创建项目

填写项目相关信息

• 项目名称：可自定义，如 “ChatGLM3-6B”。
• 镜像：选择 公开 下的 chatglm3-6b（作者为 “趋动云小助手”）
• 模型：选择 公开 下的 chatglm3-6b（作者为 “趋动云小助手”）。

三、算力资源配置

点击运行代码，选择对应的算力资源并开放web访问端口

• 资源配置：选择 B1.large
• 开放端口：开放 8051 端口，备注 chatglm3-6b 网页形式访问

四、体验ChatGLM3-6B

从gitee克隆ChatGLM3-6B，复制以下代码在终端中运行

cd /gemini/code/
git clone https://gitee.com/a-strong-python/ChatGLM3.git
cd ChatGLM3/
sed -i 's/demo.launch(server_name="127.0.0.1", server_port=7870, inbrowser=True, share=False)/demo.launch(server_name="0.0.0.0", server_port=8501, inbrowser=True, share=True)/g' basic_demo/web_demo_gradio.py

执行如下命令，部署基于 gradio 的网页版对话demo，将运行后的 gradio 网址在浏览器中打开，即可体验ChatGLM3-6B的对话能力

export MODEL_PATH='/gemini/pretrain'
python basic_demo/web_demo_gradio.py

体验完毕后记得及时关闭项目，防止算力资源的浪费

五、更多

学习更多ChatGLM3-6B的能力，可以访问：THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)