最便捷的从huggingface下载模型的方法

1、hf上找到对应的项目/模型 直接搜关键词,以LLAMA-7B为例,原始的LLaMA权重文件,是不能直接调用huggingface的transformers库进行使用的,需要使用额外的转换脚本可以直接在HuggingFace上找.hf文件。

2、使用huggingface-cli

 huggingface-cli 隶属于 huggingface_hub 库,不仅可以下载模型、数据,还可以可以登录huggingface、上传模型、数据等。

安装依赖:

pip install -U huggingface_hub

基本用法-下载模型

huggingface-cli download yahma/llama-7b-hf --local-dir llama-7b-hf

下载数据

huggingface-cli download --repo-type dataset lavita/medical-qa-shared-task-v1-toy

对比  Git clone缺点:

  • 不支持断点续传,断了重头再来;
  • clone 会下载历史版本占用磁盘空间,使整个模型文件夹磁盘占用两倍以上,对于有些存在历史版本的模型,下载时间两倍以上
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值