huggingface 数据/模型下载

1. 介绍

huggingface_hub Python包附带了一个名为huggingface CLI的内置CLI。此工具允许您直接从终端与Hugging Face Hub进行交互。例如，您可以登录您的帐户、创建存储库、上传和下载文件等。
官方网站: https://huggingface.co/docs/huggingface_hub/main/en/guides/cli
优势: 支持断点续传

2. 使用

参考链接: https://hf-mirror.com/

1）下载、安装

pip install -U "huggingface_hub[cli]"

2）设置环境变量

export HF_ENDPOINT=https://hf-mirror.com

3）登录 Hugging Face 帐户

a. 命令：

huggingface-cli login

在此处输入token即可。
b. token获取：
https://huggingface.co/settings/profile


添加token，并复制到命令行中。

4）模型下载

a. 进入 huggingface 官网，搜索想要下载的模型 https://huggingface.co/
b. 复制模型名称

c. 命令：

huggingface-cli download --resume-download 复制的模型名称 --local-dir 下载文件的存放路径

d, 使用

.from_pretrained('下载文件的存放路径')

5）数据集下载

a. 配置

export HF_ENDPOINT=https://hf-mirror.com  # 设置镜像
export HF_HUB_ENABLE_HF_TRANSFER=1  # 加速，需安装hf_transfer：pip install hf_transfer

b. 下载命令
需注意：与模型下载不同的是下载文件夹路径指定命令为：–cache-dir

huggingface-cli download --repo-type dataset --token 上文已获取的token --resume-download 数据集名称 --cache-dir 下载路径

3. 附：使用 git 下载方法

https://blog.youkuaiyun.com/qq_31448607/article/details/135271744?fromshare=blogdetail&sharetype=blogdetail&sharerId=135271744&sharerefer=PC&sharesource=qq_31448607&sharefrom=from_link