LLM大模型服务器端部署

AI自己

已于 2023-12-19 20:24:59 修改

阅读量1.2k

点赞数 8

CC 4.0 BY-SA版权

文章标签：人工智能

于 2023-12-19 20:23:59 首次发布

本文链接：https://blog.youkuaiyun.com/HAXIMOF/article/details/135093564

本文介绍了如何下载并使用MobaXterm连接服务器、WinSCP进行文件传输，以及如何安装和管理Anaconda环境，包括conda的创建、激活和包管理。还涉及了CUDA和D-Bus在部署模型时遇到的问题及其解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

下载终端工具

首先，我们要下载一个软件，叫MobaXterm，在这个软件上可以连接到服务器，通过指令操作服务器。

软件：MobaXterm https://mobaxterm.mobatek.net/download.html
输入Remote host即可，输入形式为username@serverIP，然后输入密码，就可以访问了
（username@serverIP：abc@xxx.xxx.x.xxx）

下载文件传输工具

上面的MobaXterm是用来操纵服务器跑代码的，但是在文件上传和下载这方面还不是很方便，咱们再下载一个专门用来处理文件的软件

工具WinSCP https://winscp.net/eng/download.php

安装anaconda

下载anaconda

wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh

安装anaconda

bash Anaconda3-2023.09-0-Linux-x86_64.sh

一直敲Enter直到出现以下询问，点击yes

安装目录确认：

确认安装成功

anaconda --version
## or
conda -V

【已解决】bash: conda: command not found_-bash: conda: 未找到命令_一白梦人的博客-优快云博客

conda 创建新环境使用

conda create -n baichuan2  #创建名为“baichuan2”的环境
conda activate baichuan2   #激活环境
conda info --envs          #查看当前活跃的环境
conda list                 #查看当前环境安装的包和版本
conda install numpy scikit-learn  #安装指定的包
conda env remove -n 'env_name'    #删除指定的环境
conda env list            #查看所有的环境

问题?

conda activate chatglm-6b

conda: error: argument COMMAND: invalid choice: 'activate' 
(choose from 'clean', 'compare', 'config', 'create', 'info', 'init', ...

最新版conda移除了activate;

source activate chatglm-6b

ChatGLM-6b 部署

安装依赖包

pip install -r requirements.txt

从本地加载模型

参考官方可以先将模型下载到本地，然后从本地加载。

python -c "import torch; print(torch.cuda.is_available())"
# 检查cuda是否正常 正常情况下，这里输出false需要重新安装torch
pip uninstall torch -y
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch -y
python -c "import torch; print(torch.cuda.is_available())"

pip uninstall gradio  -y
pip install gradio==3.44.4
pip uninstall charset-normalizer  -y
pip install   charset-normalizer==3.2.0
pip uninstall typing-extensions -y
pip install --upgrade typing-extensions 
pip install chardet
python -c "from PIL import Image"
# 可能会报错 ImportError: DLL load failed while importing _imaging: 找不到指定的模块 需要重新安装Pillow
pip uninstall Pillow -y
pip install --upgrade  pillow
python -c "from PIL import Image"

运行模型

网页版Demo

修改web_demo.py中的模型所在的位置，改为绝对地址；

tokenizer = AutoTokenizer.from_pretrained("E:\\xxx\\xxx\\chatglm\\chatglm-6b", trust_remote_code=True, revision="")
model = AutoModel.from_pretrained("E:\\xxx\\xxx\\chatglm\\chatglm-6b", trust_remote_code=True, revision="").half().cuda()

执行web代码；

python web_demo.py

问题？

START /usr/bin/firefox "http://127.0.0.1:7861/"
Failed to open connection to "session" message bus: Using X11 for dbus-daemon autolaunch was disabled at compile time, set your DBUS_SESSION_BUS_ADDRESS instead
Running without a11y support!

这个错误信息提示系统连接到 D-Bus 会话总线时出现问题。
要解决此问题，您可以尝试将 DBUS_SESSION_BUS_ADDRESS 环境变量设置为正确的值。以下是设置步骤：

打开终端窗口。
输入以下命令并按 Enter 键：

echo $DBUS_SESSION_BUS_ADDRESS

如果输出为空或不正确，可以通过运行以下命令设置变量：

export DBUS_SESSION_BUS_ADDRESS=export DBUS_SESSION_BUS_ADDRESS=unix:path=/run/dbus/system_bus_socket

再次尝试运行程序，查看错误是否已解决。
如果上述步骤无法解决问题，您可能需要检查 D-Bus 守护程序是否正常运行或重新安装 D-Bus 包。

问题？Running without a11y support!

这个问题还没解决

命令行Demo

修改 cli_demo.py 中的模型地址；
执行程序

python cli_demo.py

问题？

RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 31.75 GiB total capacity; 9.50 GiB already allocated; 78.12 MiB free; 9.50 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

看一看GPU卡使用情况

nvidia-smi

指定GPU卡

CUDA_VISIBLE_DEVICES=1 python cli_demo.py

运行结果

The end

关注我 集群智能，聚合智慧创造无限可能

本文由mdnice多平台发布