1、hf上找到对应的项目/模型 直接搜关键词,以LLAMA-7B为例,原始的LLaMA权重文件,是不能直接调用huggingface的transformers库进行使用的,需要使用额外的转换脚本;可以直接在HuggingFace上找.hf文件。
2、使用huggingface-cli库
huggingface-cli
隶属于 huggingface_hub
库,不仅可以下载模型、数据,还可以可以登录huggingface、上传模型、数据等。
安装依赖:
pip install -U huggingface_hub
基本用法-下载模型
huggingface-cli download yahma/llama-7b-hf --local-dir llama-7b-hf
下载数据
huggingface-cli download --repo-type dataset lavita/medical-qa-shared-task-v1-toy
对比 Git clone缺点:
- 不支持断点续传,断了重头再来;
- clone 会下载历史版本占用磁盘空间,使整个模型文件夹磁盘占用两倍以上,对于有些存在历史版本的模型,下载时间两倍以上