Hugging Face模型下载方法小结

由于国内网络环境较差，HF的服务器在国外，因此很多访问会超时，或者下载不稳定，主要记录了下面这些方法，用于HF中的模型文件下载。

方法1：HF镜像+wget

可以通过huggingface的镜像网站下载，hf-mirror.com，只用将原本下载链接中的huggingface官网地址修改，即可再通过wget命令进行下载。右键复制对应的下载链接wget下载（注意不要在表面复制HTML链接，而是要再点进去，复制下载链接，否则只能下载80k的HTML.txt文件）。

方法2：通过snapshot下载

from huggingface_hub import snapshot_download

snapshot_download(repo_id="Qwen/Qwen-VL-Chat-Int4",    # 模型ID
                  local_dir="./models/Qwen-VL-Chat-Int4") # 指定本地地址保存模型
              

这个方法可能也会被ban，需要设置 HF_ENDPOINT 环境变量
HF_ENDPOINT 该变量是 HF 相关库官方支持的一个环境变量，设置后，相关库会尊重该变量指定的主机名，替换 huggingface.co 域名进行模型、数据集的下载和上传，从而做到无需修改python的transformers代码，即可利用上镜像站来加载模型。具体支持以下库：

• huggingface-cli
• snapshot_download
• from_pretrained
• hf_hub_download
• timm.create_model

设置方法
以下介绍各种环境下如何设置环境变量，以及如何将环境变量的配置命令写入到终端的配置文件中，使得终端自动加载该环境变量，免去每次手动执行命令的麻烦。
Linux/Mac OS

export HF_ENDPOINT="https://hf-mirror.com"

Linux 写入到~/.bashrc中：

echo 'export HF_ENDPOINT="https://hf-mirror.com"'~/.bashrc

写入之后通过source命令运行一下source ~/.bashrc，环境变量才能生效。

Mac OS 写入到 ~/.zshrc 中：

echo 'export HF_ENDPOINT="https://hf-mirror.com"'~/.zshrc

Python

import osos.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

注意os.environ得在import huggingface库相关语句之前执行。
通过上述方法就能快速下载模型啦！！