vLLM启用笔记

一、vLLM
vLLM 的安装较为复杂，pip 包的安装方式，需要环境中支持 CUDA 12.1
项目地址：https://github.com/vllm-project/vllm
支持的模型列表：https://docs.vllm.ai/en/latest/models/supported_models.html

二、camke 版本问题
参考官方文档进行安装：https://docs.vllm.ai/en/latest/getting_started/cpu-installation.html

sh cmake-3.30.3-linux-aarch64.sh
export PATH=/home/aidlux/tools/cmake-3.30.3-linux-aarch64/bin:$PATH

三、

VLLM_TARGET_DEVICE=cpu python setup.py install

vLLM 项目对硬件的要求很高，需要 CPU 支持 AVX512、AVX2 或 Power9+ 高级指令集，而对于 ARM 架构 的 CPU，通常并不支持 AVX2 和 AVX512。 vLLM一般很难安装~