hugging face 上模型文件自动下载方法札记

最新推荐文章于 2025-07-04 14:42:57 发布

原创最新推荐文章于 2025-07-04 14:42:57 发布 · 929 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #python #人工智能 #语言模型

博主因需下载大模型，手动下载繁琐，遂查找hugging face上模型自动下载脚本写法。最终解决了模型下载总是中断的问题，还提及repo_id和token相关内容，后续有新感悟会续写。

部署运行你感兴趣的模型镜像

最近需要需要下载大模型，因为模型文件比较多，一个个手动下载很繁琐，所以就百度了一下hugging face上模型自动下载的脚本写法，今天终于解决了模型下载总是会出现中断的原因：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

from huggingface_hub import snapshot_download

repo_id = "BAAI/bge-large-zh"  # 模型在huggingface上的名称
local_dir = f"models/base/{repo_id.split('/')[-1]}"  # 本地模型存储的地址
local_dir_use_symlinks = False  # 本地模型使用文件保存，而非blob形式保存

# 注意：“在hugging face上生成的 自己的access token， 否则模型下载会中断”
token = "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" # 这里需要自己替换，我这个是fake demo

# 开始下载
snapshot_download(
    repo_id=repo_id,
    local_dir=local_dir,
    local_dir_use_symlinks=local_dir_use_symlinks,
    token=token,
)

repo_id 是什么？看下图；