【模型部署】如何在Linux中通过脚本文件部署模型

在 Linux 中，你可以将部署命令保存为可执行脚本文件，并通过终端直接调用。以下是几种常见且实用的方法：

---

方法 1：Shell 脚本（推荐）

步骤

1. 创建一个 .sh 文件（例如 start_vllm.sh）：

   #!/bin/bash
   CUDA_VISIBLE_DEVICES=7 \
   python -m vllm.entrypoints.openai.api_server \
     --served-model-name Qwen2-7B-Instruct \
     --model /home/courseteam/models/models/Qwen2-7B \
     --port