大模型创建脚本

--model 为vllm serve的参数

该脚本需要修改

DOCKERNAME为 为docker起的名字

MODELIFIE为真实的文件名字

MODELINAME 具体的模型名字，可以改可以不改，不是很重要，但是要改名字话最好做到见名知义

#!/bin/bash
DOCKERNAME=zhuque_qwen3_32b_AWQ
MOUNTFILE=/home/kekaoxing/ModelDeployment/zhuque_deployment
MODELFILE=Qwen3-32B-AWQ
MODELNAME=Qwen3-32B-TP1

docker run -itd \
  --name $DOCKERNAME  \
  --gpus all \
  --net host \
  --shm-size=24g \
  --restart always \
  -v $MOUNTFILE/models:/models_on_host \
  -w /workspace \
  docker.cipsup.cn/fangtaosong/zhuque_inference:vllm084 --model /models_on_host/$MODELFILE \
    --served-model-name $MODELNAME \
    --pipeline-parallel-size 1 \
    --tensor-parallel-size 1 \
    --port 7814 \
    --dtype auto \
    --gpu-memory-utilization 0.90 \
    --enable-chunked-prefill \
    --max-num-batched-tokens 4096