huggingface模型/数据集下载

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量

Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

3. 下载模型

# 命令行运行
hf download 模型名 --local-dir 本地保存路径
# 例子
hf download BAAI/llm-embedder --local-dir llm-embedder

3. 下载数据集

# 命令行运行
hf download 数据集 --local-dir 本地保存路径 --repo-type dataset
# 例子
hf download din0s/asqa --local-dir asqa --repo-type dataset