【解决】AutoDL系统盘爆满(hugging face的默认缓存在系统盘)

部署运行你感兴趣的模型镜像

出现"No space left on device"可能由存储路径配置或缓存文件积累导致。

[rank0]: return _hf_hub_download_to_cache_dir( [rank0]: ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ [rank0]: File "/root/miniconda3/envs/FlexWorld/lib/python3.11/site-packages/huggingface_hub/file_download.py", line 1011, in _hf_hub_download_to_cache_dir [rank0]: _download_to_tmp_and_move( [rank0]: File "/root/miniconda3/envs/FlexWorld/lib/python3.11/site-packages/huggingface_hub/file_download.py", line 1545, in _download_to_tmp_and_move [rank0]: http_get( [rank0]: File "/root/miniconda3/envs/FlexWorld/lib/python3.11/site-packages/huggingface_hub/file_download.py", line 457, in http_get [rank0]: temp_file.write(chunk) [rank0]: OSError: [Errno 28] No space left on device

​删除HuggingFace缓存路径
下载过程涉及huggingface_hub模块,其默认缓存路径为~/.cache/huggingface。执行以下命令清理:

rm -rf ~/.cache/huggingface/hub/*

但是往往我们不想要把下好的模型从缓存中删除,于是我们可以使用存储路径重定向(适用于大文件下载)的方法,基于符号链接方式将HuggingFace缓存重定向到AutoDL数据盘的具体操作步骤。这样就算数据盘不够,也可以扩容数据盘。

步骤:

在数据盘创建专用缓存目录:

mkdir -p /root/autodl-tmp/huggingface_cache
  • 参数说明:
    • -p:递归创建多级目录
    • 路径规范:建议保持huggingface_cache命名一致

建立符号链接 

删除原缓存目录(如已存在):

rm -rf ~/.cache/huggingface  # 强制删除原目录

 创建软链接:

ln -sf /root/autodl-tmp/huggingface_cache ~/.cache/huggingface

验证

测试缓存写入:

python -c "from huggingface_hub import hf_hub_download; hf_hub_download('bert-base-uncased', 'config.json')"

验证存储位置:

du -sh /root/autodl-tmp/huggingface_cache  # 查看下载文件是否存入数据盘

解决 !

您可能感兴趣的与本文相关的镜像

ACE-Step

ACE-Step

音乐合成
ACE-Step

ACE-Step是由中国团队阶跃星辰(StepFun)与ACE Studio联手打造的开源音乐生成模型。 它拥有3.5B参数量,支持快速高质量生成、强可控性和易于拓展的特点。 最厉害的是,它可以生成多种语言的歌曲,包括但不限于中文、英文、日文等19种语言

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值