[魔搭社区下载的模型如何绕过Hugging Face.co的验证]

部署运行你感兴趣的模型镜像

问题描述:

  1. 魔搭社区的很多模型直接转载于huggingFace,所以运行中要访问huggingFace,如果没有科学的上网姿势就会导致代码无法运行。

常常出现网络连接报错:
HTTPSConnectionPool(host=‘huggingface.co‘, port=443)

直接修改模型名称为路径,又会出现如下模型名称报错:
HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘namespace/repo_name
恼人至极。

解决方法:

其实方法很简单,只是网上说的较少。以最近很火的deepseek为例,参考教程从魔搭社区下载全部文件
https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B

readme给的运行指令如下:

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#直接运行就会导致网络连接报错

其中 deepseek-ai/DeepSeek-R1-Distill-Qwen-7B表示模型的名称,模型会下载到如下路径

/root/.cache/modelscope/hub/

通常的改法是将模型名称改成绝对路径,

vllm serve /root/.cache/modelscope/hub/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager
#如此运行就会导致模型名称报错

【正确写法】

实际上只用添加模型路径即可:

vllm serve /root/.cache/modelscope/hub/deepseek-ai --tensor-parallel-size 1 --max-model-len 2768 --enforce-eager

好用记得回来点赞评论~

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰(StepFun)与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量,支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是,它可以生成多种语言的歌曲,包括但不限于中文、英文、日文等19种语言

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉木渡香

感谢鼓励!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值