问题描述:
- 魔搭社区的很多模型直接转载于huggingFace,所以运行中要访问huggingFace,如果没有科学的上网姿势就会导致代码无法运行。
常常出现网络连接报错:
HTTPSConnectionPool(host=‘huggingface.co‘, port=443)
直接修改模型名称为路径,又会出现如下模型名称报错:
HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘namespace/repo_name
恼人至极。
解决方法:
其实方法很简单,只是网上说的较少。以最近很火的deepseek为例,参考教程从魔搭社区下载全部文件
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
readme给的运行指令如下:
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#直接运行就会导致网络连接报错
其中 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B表示模型的名称,模型会下载到如下路径
/root/.cache/modelscope/hub/
通常的改法是将模型名称改成绝对路径,
vllm serve /root/.cache/modelscope/hub/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#如此运行就会导致模型名称报错
【正确写法】
实际上只用添加模型路径即可:
vllm serve /root/.cache/modelscope/hub/deepseek-ai --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
好用记得回来点赞评论~

被折叠的 条评论
为什么被折叠?



