懒人脚本一键部署一个chatglm-6b模型，基于腾讯云

已于 2023-05-24 22:46:58 修改
阅读量1.3k 收藏 5
点赞数 1
分类专栏： Linux # ubuntu 好物分享 文章标签： 腾讯云 云计算 人工智能
于 2023-05-23 18:44:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qingfeng2020/article/details/130832971
版权
ChatGLM-6B是一个由清华大学开发的开源语言模型，专注于自然语言处理。提供的自动化安装脚本简化了在Ubuntu20.04系统上，特别是腾讯云海外GPU服务器的部署流程。用户需拥有管理员权限，脚本会检测Python和pip的版本，并根据需要安装或更新。安装完成后，用户可利用Python脚本或命令行开始使用ChatGLM-6B。别忘了开启腾讯云防火墙的相应端口。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

chatglm-6b介绍：

ChatGLM-6B 是清华大学开发的一个开源语言模型，它基于最先进的技术构建，提供了强大的自然语言处理能力。为了方便用户安装和使用 ChatGLM-6B，我提供了一个自动化安装脚本，它简化了安装过程，让您能够快速搭建环境并开始使用 ChatGLM-6B。

当前脚本仅在腾讯云海外的GPU服务器上进行过实践，系统为Ubuntu 20。

步骤

  1. 切换用户权限
sudo su root
  1. 执行脚本
bash <(curl -s https://raw.githubusercontent.com/Ericzhang528/installShell/main/Ubuntu-Install-chatGLM-6B.sh)

  1. 跟随提示完成安装：根据脚本的提示，选择合适的选项进行安装。脚本会自动检测您的 Python 和 pip 版本，并根据需要安装所需的版本。

  2. 安装完成：安装完成后，您可以开始使用 ChatGLM-6B 进行自然语言处理任务了。您可以通过调用相应的 Python 脚本或使用相关命令来使用 ChatGLM-6B。

注意：要记得放开腾讯防火墙的特定端口嗷。

使用自动安装脚本可以帮助您轻松安装 ChatGLM-6B，省去了手动安装和配置的繁琐步骤。

下面是bash命令的内容

#!/bin/bash

echo -e "\033[34m 当前脚本由CloudSeaSky Studio提供 \033[0m"
echo -e "\033[34m 本脚本仅适用于腾讯云的Ubuntu系统 \033[0m"
echo -e "\033[34m 其他系统暂未尝试，本脚本仅适用于海外服务器 \033[0m"
echo -e "\033[34m【0】Screen 安装，【1】默认安装\033[0m"
echo -e "\033[34m【2】启动（默认端口），【3】自定义端口启动\033[0m"
echo -e "\033[34m【4】安装Python 3.10和最新版本pip并连接到python和pip命令\033[0m"
echo -e "\033[34m 如若未安装请先安装ChatGLM \033[0m"
echo -e "\033[34m 如果是Screen安装请输入screen -r GLM 然后按Ctrl+C终止进程 \033[0m"
echo -e "\033[34m 请输入0 - 4执行脚本 \033[0m"
read -p "请输入：" num

# 检查命令是否存在
if ! command -v python &> /dev/null || ! command -v pip &> /dev/null; then
  echo "Python或pip命令未找到，请确保已安装Python并正确设置环境变量"
  exit 1
fi
# 比较版本号
function compare_versions {
    local version1=$1
    local version2=$2
    local IFS=.
    local arr1=($version1)
    local arr2=($version2)

    for ((i=0; i<${#arr1[@]}; i++)); do
        if [[ ${arr1[i]} -lt ${arr2[i]} ]]; then
            echo -1
            return
        elif [[ ${arr1[i]} -gt ${arr2[i]} ]]; then
            echo 1
            return
        fi
    done

    echo 0
}

# 获取当前Python版本
current_python_version=$(python --version 2>&1 | awk '{print $2}')

# 获取当前pip版本
current_pip_version=$(pip --version | awk '{print $2}')

# 定义所需的Python版本和pip版本
required_python_version="3.10"
required_pip_version="23.0.2"

# 检查Python版本是否大于等于所需版本
python_version_check=$(compare_versions $current_python_version $required_python_version)

# 检查pip版本是否大于等于所需版本
pip_version_check=$(compare_versions $current_pip_version $required_pip_version)



if [[ $num == 0 || $num == 1 || $num == 4 ]]; then
  echo -e "\033[34m 检测Python版本和Pip版本 \033[0m"
  if [[ $python_version_check -ge 0 && $pip_version_check -ge 0  ]]; then
    echo "Python版本和pip版本符合要求，继续执行下一步操作..."
    if [[ $num == 4 ]]; then
      echo "Python版本："
      python --version
      echo "Pip版本："
      pip --version
      echo "退出脚本..."
    fi
  else
    echo "Python版本或pip版本低于要求，是否执行安装脚本？（y/n）"
    read -r answer
    if [[ $answer =~ ^[Yy]$ ]]; then
      echo "执行安装脚本..."
      bash <(curl -s https://raw.githubusercontent.com/Ericzhang528/installShell/main/Ubuntu-Install-python-3.10-pip.sh)
    else
      echo "已取消安装，退出脚本"
      exit 0
    fi
  fi
fi

if [[ $num == 0 ]]; then
  echo -e "\033[34m 检测Python版本和Pip版本 \033[0m"
  if [[ $python_version_check -ge 0 && $pip_version_check -ge 0  ]]; then
    echo "Python版本和pip版本符合要求，继续执行下一步操作..."
  else
    echo "Python版本或pip版本低于要求，是否执行安装脚本？（y/n）"
    read -r answer
    if [[ $answer =~ ^[Yy]$ ]]; then
      echo "执行安装脚本..."
       bash <(curl -s https://raw.githubusercontent.com/Ericzhang528/installShell/main/Ubuntu-Install-python-3.10-pip.sh)
    else
      echo "已取消安装，退出脚本"
      exit 0
    fi
  fi
  echo "执行Screen安装操作"
  echo -e "\033[34m 检测Screen安装 \033[0m"
  # 检查 screen 是否已安装
  if command -v screen &> /dev/null; then
    echo -e "\033[34m screen 已安装，执行下一步操作... \033[0m"
    # 执行下一步的 Bash 文件或命令
    echo -e "\033[34m 创建GLM的Screen窗口 \033[0m"
    screen -dmS GLM bash -c 'echo "This is running in the GLM screen session"'
    echo -e "\033[34m GLM的Screen窗口创建完成，执行下一步操作... \033[0m"
  else
    echo -e "\033[34m screen 未安装，正在执行安装步骤... \033[0m"
    apt update
    apt install screen
    screen --version
    echo -e "\033[34m screen 安装完成，执行下一步操作... \033[0m"
    echo -e "\033[34m 创建GLM的Screen窗口 \033[0m"
    screen -dmS GLM
    echo -e "\033[34m GLM的Screen窗口创建完成，执行下一步操作... \033[0m"
  fi
elif [[ $num == 1 ]]; then
  echo "执行默认安装操作"
  # 执行默认安装脚本的命令
elif [[ $num == 2 ]]; then
  echo "执行重新启动（默认端口）操作"
  # 执行重新启动（默认端口）脚本的命令
  echo "是否运行Screen GLM？（y/n）"
  read -r answer
  if [[ $answer =~ ^[Yy]$ ]]; then

    if  'screen -ls | grep -q GLM'; then
        echo "已检测到名为 GLM 的 Screen，切换到该 Screen 的 Bash 脚本..."
        screen -r GLM
    else
        echo "未检测到名为 GLM 的 Screen，创建 GLM 并执行下一步操作..."
        screen -dmS GLM
    fi
  else
    echo "已取消运行Screen GLM"

  fi
  cd ChatGLM-6B
  while true; do
    echo -e "\033[34m 请输入端口号：\033[0m"
    read -p "请输入：" port

    if [[ $port =~ ^[0-9]+$ ]]; then
      break
    else
      echo -e "\033[31m 端口号无效，请重新输入 \033[0m"
    fi
  done

  python -m streamlit run ./web_demo2.py --server.port $port --server.address 0.0.0.0
  # 执行Python 3.10和最新版本pip安装脚本的命令
  echo "http://0.0.0.0:$port"
elif [[ $num == 3 ]]; then
  echo "执行重新启动（默认端口）操作"
  # 执行重新启动（默认端口）脚本的命令
  echo "是否运行Screen GLM？（y/n）"
  read -r answer
  if [[ $answer =~ ^[Yy]$ ]]; then
    if screen -ls | grep -q GLM; then
      echo "已检测到名为 GLM 的 Screen，切换到该 Screen 的 Bash 脚本..."
      screen -r GLM
    else
      echo "未检测到名为 GLM 的 Screen，创建 GLM 并执行下一步操作..."
      screen -dmS GLM bash -c 'echo "This is running in the GLM screen session"'
    fi
  else
    echo "已取消运行Screen GLM"
  fi
  cd ChatGLM-6B
  while true; do
    echo -e "\033[34m 请输入端口号：\033[0m"
    read -p "请输入：" port

    if [[ $port =~ ^[0-9]+$ ]]; then
      break
    else
      echo -e "\033[31m 端口号无效，请重新输入 \033[0m"
    fi
  done

  python -m streamlit run ./web_demo2.py --server.port $port --server.address 0.0.0.0
  # 执行Python 3.10和最新版本pip安装脚本的命令
  echo "http://0.0.0.0:$port"
else
  echo "输入无效，退出脚本"
  exit 0
fi

if [[ $num == 1 || $num == 0 ]]; then
  echo -e "\033[34m 开始下载GLM \033[0m"
  echo -e "git clone https://github.com/Ericzhang528/ChatGLM-6B.git"
  git clone https://github.com/Ericzhang528/ChatGLM-6B.git
  echo -e "\033[34m GLM下载完成，执行下一步操作... \033[0m"
  cd ChatGLM-6B
  if grep -q "chardet" requirements.txt && grep -q "streamlit" requirements.txt && grep -q "streamlit-chat" requirements.txt; then
    echo "requirements.txt 文件已包含 chardet、streamlit 和 streamlit-chat 依赖项，继续执行下一步操作..."
    # 执行下一步的 Bash 脚本或命令
  else
    echo "requirements.txt 文件缺少 chardet、streamlit 或 streamlit-chat 依赖项，正在添加..."
    echo "" >> requirements.txt
    echo "chardet" >> requirements.txt
    echo "streamlit" >> requirements.txt
    echo "streamlit-chat" >> requirements.txt
    echo "依赖项已添加至 requirements.txt 文件"
    # 执行下一步的 Bash 脚本或命令
  fi
  echo -e " pip install -r requirements.txt"
  pip install -r requirements.txt
  echo -e "\033[34m 开始运行ChatGLM-6B \033[0m"
  while true; do
    echo -e "\033[34m 请输入端口号：\033[0m"
    read -p "请输入：" port

    if [[ $port =~ ^[0-9]+$ ]]; then
      break
    else
      echo -e "\033[31m 端口号无效，请重新输入 \033[0m"
    fi
  done

  python -m streamlit run ./web_demo2.py --server.port $port --server.address 0.0.0.0
else
  echo -e "\033[34m 退出脚本 \033[0m"
  exit 0
fi

这里还有一些其他的一件安装脚本

python3.10和pip更新到最新版以及连接python命令和pip命令的脚本
执行命令

bash <(curl -s https://raw.githubusercontent.com/Ericzhang528/installShell/main/Ubuntu-Install-python-3.10-pip.sh)

stable diffusion 的一件安装脚本

这个脚本有个前提必须使用ubuntu系统，而且必须使用GPU Cloud。
如果服务器没有安装GPU驱动，请自行手动安装驱动。

bash <(curl -s https://raw.githubusercontent.com/Ericzhang528/installShell/main/Ubuntu-Install-stable-diffusion.sh)
ModaHub魔搭社区：清华开源ChatGLM语言模型一键部署教程
实战AI智能体
07-07 814
此外，它对内存的需求也比较高，建议最好要有16G以上的内存。但是需要注意的是，这样会非常慢，并且需要32G以上的内存才能正常运行。相信在未来，这个模型还会有很多的应用和玩法，因为它是开源的，只需要时间的沉淀。由于它是开源的，所以带来了很多的可能性，比如可以像Ai绘画一样自己微调模型。现在我们已经全部解压完毕了，对应自己的显卡，去运行对应.bat文件。我的显卡是12G以上的，所以我运行。这是一个完全在本地使用的语言模型，可以利用你的显卡来运行。我在文章末端提供了下载链接，当你下载完成后，会有如下三个文件。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[2]-简洁部署版
最新发布
丨汀、的博客
06-15 1070
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[2]-简洁部署版
闻达（wenda+chatGLM-6B）一键部署包
yuyangchenhao的博客
05-28 2602
本文是《基于闻达（wenda+chatGLM-6B），构建自己的知识库小助手》的一键部署包，将处理数据、模型启动整理为可执行脚本，并提供内置python虚拟环境，无需任何额外的环境配置，只需要上传自己的知识库文件即可使用
快捷部署清华大模型 ChatGLM2-6B，一键搞定 HuggingFace Space 空间
07-01 7265
“分享一个简单的部署 ChatGLM2-6B 模型到 HuggingfaceSpace 在线空间的方法。”01—在这篇文章：终于部署成功！GPU 云环境搭建 ChatGLM2-6B 坎坷路中，用线上云算力的资源部署了一套 ChatGLM2-6B，最后显示一行提示：“This share link expires in 72 hours. For free permanent hosting an...
清华ChatGLM2-6B一键式部署，无需自行安装依赖环境！！
weixin_45666317的博客
07-11 2686
小白式部署，事先已经做好并上传了ChatGLM2-6B模型框架和模型参数的整合文件，且为int4量化版本，支持6GB显存电脑使用；同时，支持ChatGLM2-6B推理运行的环境也全部打包上传了，解压缩到自己的conda的envs文件夹下即可用！此外上传了CUDA、CuDNN安装包，甚至包括Anaconda2的安装包（个人感觉版本越老越好用，主要是网上教程多）
利用腾讯GPU云服务器部署ChatGLM-6B，每小时不到2RMB
motl2000的博客
05-03 3710
低成本玩转ChatGLM，通过腾讯GPU云服务器部署，每小时不到2元。
chatGLM6B 腾讯云安装问题解决
愚者不惑的博客
05-19 242
chatGLM6B 腾讯云安装问题解决
ChatGLM-6B一键安装，马上使用（windows）！！
JavaPub
08-09 508
基于ChatGLM-6B 的快速安装服务，您可以快速将ChatGLM-6B 安装安装在您本地服务器中。支持一键安装，无需任何服务配置和代码编写即可完成。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
chatglm docker镜像，一键部署chatglm本地知识库
Learning by doing
07-04 4827
chatglm本地知识库的docker镜像制作过程。 核心程序是基于“闻达”开源项目，稍作改动。
一键部署开源AI(人工智能对话模型)(支持显卡或CPU加内存运行)--ChatGLM2-6B
qq_45748758的博客
10-13 540
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练
智能聊天助手，一步到位：ChatGLM-6B部署全攻略
艰难困苦，玉汝于成。
08-02 1417
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
腾讯云部署清华大学ChatGLM-6B实战
独领fengsao的猫
04-06 2902
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
ChatGLM-6B 安装
jonathan_joestar的博客
03-30 507
安装 https://github.com/THUDM/ChatGLM-6B。
ChatGLM-6B云服务器部署教程
菜鸟玩Java
06-16 3003
现在市面上好多教chatglm-6b本地化部署，命令行部署，webui部署的，但是api部署的方式企业用的很多，官方给的api没有直接支持流式接口，调用起来时间响应很慢，这次给大家讲一下流式服务接口如何写，大大提升响应速度。
安装chatglm
qq_36437991的博客
04-30 1520
windows安装chatglm
【ChatGLM】手把手教你云服务器部署ChatGLM聊天网站，不限次数调用。
小梁说代码的博客
07-25 6103
ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，由基于清华大学 KEG 实验室与智谱 AI于 2023 年联合训练，可以针对用户的问题和要求提供适当的答复和支持。它基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（具体的部署条件看下章）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。
ChatGLM模型部署分享
m0_73546099的博客
06-01 237
据官方介绍，ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。文件，将所有的 THUDM/chatglm-6b 替换成 chatglm-6b。
开源模型ChatGLM3本地安装部署
penngo的专栏
03-28 7209
开源模型ChatGLM3本地安装部署
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZemanZhang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值