deepseek满血版加载测试

---

前言

关于满血版网上一找，有很多类似这种表格，但没看家有实际操作去验证，下面就用2种常用的本地大模型加载方法进行验证。

一、huggingface加载

1. 下模

模型来源，魔塔社区，下完后大小642G。

2. 小模测试

先给个deepseek蒸馏版的，qwen当学生，deepseek当老师的1.b模型，确保调用畅通。

调用非常迅速，秒出结果，说明环境配置上都没问题。

3. 大模来了

可能模型太大，不像那个小模加载出结果一气呵成。
经过长时间等待，没给来惊喜，也谈不上以外。

中途有查看显存占用情况，8张H100都在95%左右，可能某个点突然爆掉了。

经过多方咨询，普遍认为都是显存不够引起的。
切换第二种方案。

二、vllm加载

1. 包的安装

之所以vllm加载本地模型没有huggingface受欢迎，1个就是vllm挑剔，只支持cuda 11.8和12.1. 第二个就是安装包太多，不像前一个llama_index全搞定。

pip install torch torchvision transformers huggingface-hub sentencepiece jinja2 pydantic timm tiktoken accelerate sentence_transformers gradio openai einops pillow sse-starlette bitsandbytes modelscope vllm -i https://pypi.tuna.tsinghua.edu.cn/simple

装包的时候会有各种冲突，就慢慢解吧，顺利的话也许一把就好了。

WARNING: Ignoring invalid distribution ~riton (/home/defaultuser/anaconda3/lib/python3.12/site-packages)
WARNING: Ignoring invalid distribution ~orch (/home/defaultuser/anaconda3/lib/python3.12/site-packages)
Installing collected packages: triton, opencv-python, torch
WARNING: Ignoring invalid distribution ~riton (/home/defaultuser/anaconda3/lib/python3.12/site-packages)
WARNING: Ignoring invalid distribution ~riton (/home/defaultuser/anaconda3/lib/python3.12/site-packages)
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
vllm 0.7.3 requires torch==2.5.1, but you have torch 2.6.0 which is incompatible.
torchaudio 2.5.1 requires torch==2.5.1, but you have torch 2.6.0 which is incompatible.
torchvision 0.20.1 requires torch==2.5.1, but you have torch 2.6.0 which is incompatible.
xformers 0.0.28.post3 requires torch==2.5.1, but you have torch 2.6.0 which is incompatible.
Successfully installed opencv-python-4.11.0.86 torch-2.6.0 triton

解决方法

pip uninstall torch torchvision torchaudio
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1

2. 小模测试

先在一个没有gpu的机器测试

 ERROR 02-21 23:45:47 engine