Linux服务器下载huggingface模型

利用 huggingface_hub 下载

下载huggingface_hub

pip install -U huggingface_hub

设置国内镜像

进入环境变量

在终端运行

vim ~/.bashrc

添加配置

进入环境后，输入 i 即可进入编辑状态

在最后一行添加

export HF_ENDPOINT="https://hf-mirror.com"

按 ESC 键即可退出编辑

输入 :wq 保存并退出

修改配置

source ~/.bashrc

下载模型

• 下载 flan-t5-base

• 新建文件夹

• 复制模型名称： google/flan-t5-base
• 下载模型

huggingface-cli download --resume-download {huggingface官网上的模型ID} --local-dir {文件夹绝对地址}

huggingface-cli download --resume-download google/flan-t5-base --local-dir /root/M/PrML/flan-t5-base

利用 wget 下载

前述方法会将不需要的文件下载

利用 wget 方法可以自动选择下载文件

创建 download.sh

wget https://hf-mirror.com/google/flan-t5-large/blob/main/README.md

上述链接可能无法正确下载文件，具体说明 ERROR 章节。可将链接更改如下：

wget https://hf-mirror.com/google/flan-t5-large/resolve/main/config.json

运行 .sh 文件

• cd 到 sh 目录下
• 在终端运行

chmod +x download.sh

• 运行 .sh 文件

./download.sh

显示

ERROR

20241216再次运行 download.sh 时，下载的文件不能使用

文件大小与官网大小不匹配，是将网页进行保存，而不是将对应文件进行下载
下载文件

官网文件大小

• 将下载链接更改，即可下载

wget https://hf-mirror.com/google/flan-t5-large/resolve/main/config.json

将鼠标悬浮与下载标志，点击右键复制地址，复制后的地址为 https://hf-mirror.com/google/flan-t5-large/resolve/main/config.json?download=true 将 ?download=true 删除，即可正确下载文件

download.sh 代码：

• 20241212

cd /root/M/PrML/flan-t5-large
wget https://hf-mirror.com/google/flan-t5-large/blob/main/config.json

• 20241216
  download.sh 代码：

cd /root/M/PrML/flan-t5-large
wget https://hf-mirror.com/google/flan-t5-large/resolve/main/config.json

参考文章：
https://blog.youkuaiyun.com/m0_58173553/article/details/140571476