vLLM简介
- vLLM 是一款高性能的大语言模型推理和服务框架,安装的核心前提是必须先安装匹配的 CUDA 环境(vLLM 依赖 CUDA 实现 GPU 加速,暂不支持纯 CPU 安装)
- 详细安装过程可见 WSL2环境下安装vLLM
模型下载与加载
- 支持的模型架构:LLaMA、Qwen、DeepSeek、SmolVLM等。本文主要选择SmolVLM来完成模型下载和运行,主要原因是轻量级模型,最小的模型SmolVLM-256M仅需要1G显存即可运行,对于初学者很友好。
- 从ModelScope来下载模型
在下载前,请先通过如下命令安装ModelScope
pip install modelscope
然后下载模型
modelscope download --model HuggingFaceTB/SmolVLM-256M-Instruct
国内访问HuggingFace受限,一般可以访问HuggingFace镜像网站或者
357



被折叠的 条评论
为什么被折叠?



