将vllm0.6.4发布多个lora模型的命令封装成shell脚本

最新推荐文章于 2025-05-26 23:02:16 发布

云游

最新推荐文章于 2025-05-26 23:02:16 发布

阅读量497

点赞数 7

CC 4.0 BY-SA版权

分类专栏： vllm 文章标签： python 人工智能 vllm

本文链接：https://blog.youkuaiyun.com/xinvictory/article/details/144582972

概述

为了简化Lora模型的发布流程并提高操作的便捷性与可记录性，我决定将所有相关的命令封装进一个Shell脚本（.sh文件）中。这样一来，每次需要发布Lora模型时，只需执行这个Shell脚本即可，大大减少了手动输入命令的工作量，并确保了每一步骤的一致性和准确性。

sh文件内容

#!/bin/bash

# 定义日志文件路径

LOG_FILE="/data/logs/server_vllm064.log"

# 确保日志目录存在

mkdir -p "$(dirname "$LOG_FILE")"

# 激活 conda 环境

CONDA_BASE=$(conda info --base)

source "${CONDA_BASE}/etc/profile.d/conda.sh"

conda activate vllm064 || { echo "Failed to activate conda environment"; exit 1; }

# 启动 VLLM API 服务器，并将输出重定向到日志文件

nohup python -m vllm.entrypoints.openai.api_server \

--model /data/dms/models/glm-4-9b-chat-1m \

--served-model-name glm-4 \

--trust-remote-code \

--enforce-eager \

--enable-lora \

--lora-modules '{"name": "ldjh", "path": "/data/GLM-4-9B-Chat/lora/ldjh