vllm 加速模型推理报错

原创

已于 2024-04-16 16:07:10 修改 · 4.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #人工智能 #自然语言处理 #私域大模型 #vllm

于 2024-04-16 15:53:59 首次发布

文章讲述了在使用VLLM加速大模型推理时遇到的启动错误，原因是注意力头数量（40）与设定的tensor_parallel_size（3）不兼容。作者通过调整CUDA_VISIBLE_DEVICES环境变量，指定使用两个显卡（0和1）解决了问题，提示读者在配置时需确保显卡数量与模型参数匹配。

1. 使用目的与报错信息

使用VLLM加速大模型推理时，启动模型，报错信息如下：

INFO 04-16 15:10:08 llm_engine.py:70] Initializing an LLM engine with config: model='/home/wzqi/GPT/models/vicuna-13b-v1.5', tokenizer='/home/wzqi/GPT/models/vicuna-13b-v1.5', tokenizer_mode=auto, revision=None, tokenizer_revision=None, trust_remote_code=True, dtype=torch.float16, max_seq_len=4096, download_dir=None, load_format=auto, tensor_parallel_size=3, quantization=None, enforce_eager=False, seed=0)
2024-04-16 15:10:08 vm2255 dbgpt.model.cluster.worker.manager[15008] ERROR Error starting worker manager: model vicuna-13b-v1.5@vllm(172.1.1.15:7860) start failed, Traceback (most recent call last):
  File "/home/wzqi/GPT/dbgpt/model/cluster/worker/manager.py", line 506, in _start_worker
    await self.run_blocking_func(
  File "/home/wzqi/GPT/dbgpt/model/cluster/worker/manager.py", line 104, in run_blocking_func
    return await loop.run_in_executor(self.executor, func, *args)
  File "/home/wzqi/local/anaconda3/envs/