将vllm0.6.4发布多个lora模型的命令封装成shell脚本

概述

     为了简化Lora模型的发布流程并提高操作的便捷性与可记录性，我决定将所有相关的命令封装进一个Shell脚本（.sh文件）中。这样一来，每次需要发布Lora模型时，只需执行这个Shell脚本即可，大大减少了手动输入命令的工作量，并确保了每一步骤的一致性和准确性。

sh文件内容

#!/bin/bash

# 定义日志文件路径

LOG_FILE="/data/logs/server_vllm064.log"

# 确保日志目录存在

mkdir -p "$(dirname "$LOG_FILE")"

# 激活 conda 环境

CONDA_BASE=$(conda info --base)

source "${CONDA_BASE}/etc/profile.d/conda.sh"

conda activate vllm064 || { echo "Failed to activate conda environment"; exit 1; }

# 启动 VLLM API 服务器，并将输出重定向到日志文件

nohup python -m vllm.entrypoints.openai.api_server \

  --model /data/dms/models/glm-4-9b-chat-1m \

  --served-model-name glm-4 \

  --trust-remote-code \

  --enforce-eager \

  --enable-lora \

  --lora-modules '{"name": "ldjh", "path": "/data/GLM-4-9B-Chat/lora/ldjh