拷贝 hugging face 仓库到 colab

小何才露尖尖角

已于 2024-01-16 11:26:14 修改

阅读量1k

点赞数 8

分类专栏： Python 环境相关 LLM 文章标签： python colab hugging face clone 拷贝

于 2024-01-16 11:24:54 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_40994552/article/details/135620167

版权

本文介绍了如何在GoogleColab环境中通过Python脚本从HuggingFaceHub下载预训练模型（如ChineseRoBERTa），并将模型文件复制到本地存储的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# 挂在谷歌云硬盘
from google.colab import drive
drive.mount('/content/drive')
# 转到文件夹
import os
os.chdir('/content/drive/MyDrive/')
!pwd

# 安装并引入包
!pip install gradio bypy huggingface_hub
import os
import shutil
from huggingface_hub import snapshot_download
from bypy import ByPy

def copy_data(source_directory

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小何才露尖尖角

关注关注

8
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hugging Face系列1：详细剖析Hugging Face网站资源——models/datasets/spaces

shao918516的博客

05-15

3540

本篇主要介绍Hugging Face。它的核心产品是Hugging Face Hub，这是一个基于Git进行版本管理的存储库，已托管大量模型、数据集及Spaces应用。另外，Hugging Face还开源了一系列的机器学习库和界面演示工具Gradio。Hugging Face设计开发了很多学习资源，比如与NLP、扩散模型及深度强化学习等。本篇还介绍了大量Spaces应用，如IDM-VTON、IC-Light、LLM Leaderboard及stable-diffusion-xl-base/refiner等。

Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）

热门推荐

iioSnail的博客

08-08

8万+

1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）

参与评论您还未登录，请先登录后发表或查看评论

HuggingFace colab运行

qq_15821487的博客

10-31

1710

hugging face的案例要求最新的开发版本，但是还没发布，直接下载开发中最新工程版本 1 linux :` pip install git+https://github.com/huggingface/transformers` 2 windows10:把工程下载到本地，然后一键安装即可 git clone https://github.com/huggingface/transformers.git cd transformers pip install -e . 3路径问题直接在colab上.

通过谷歌colab压缩下载 huggingface大模型

qq_50465499的博客

08-18

350

而一个一个下载文件又太麻烦，因此我们选择通过谷歌colab压缩下载 huggingface大模型。当我们直接使用命令下载huggingface大模型时，如。

在Colab上试跑langchain 和 huggingface的整合

qq_23938507的博客

06-21

2055

【2】使用huggingface_hub模型“google/flan-t5-large”来回答问题，huggingfaceHub 类将连接到 HuggingFace 的推理 API 并加载指定的模型。【1】创建问答提示模版Creating a Question-Answering Prompt Template。获取【HUGGINGFACEHUB_API_TOKEN】，登录huggingface官网并完成注册。在colab上安装 huggingface_hub。

使用colab快速下载huggingface的大模型文件

qq_43587443的博客

09-06

1922

第三步，指定需要下载的文件list，执行下载操作，在这里我只下载了几个比较大的参数文件，默认下载路径为/content/download/repo_id，如/content/download/hfl---llama-3-chinese-8b-instruct-v3，在colab的文件夹列表中可以找到。近期在学习大模型的微调与部署应用，需要再huggingface下载预训练好的模型参数文件，这时候问题来了！第二步，导入包，定义函数，并从huggingface获取文件列表，代码参考了。首先我们打开colab，

不使用 Docker 构建 Triton 服务器并在 Google Colab 平台上部署 HuggingFace 模型

geeksoarsky的博客

04-06

2372

Colab 环境缺少 tensorrt-8.6.1，cudnn9-cuda-12，triton-server 版本应该选择 r23.10。克隆 python_backend，因为我们要使用 python_backend 中的 triton_python_backend_utils。部署非常能打的文生图大模型。

DeepSeek多平台本地部署指南：Ollama、LM Studio及Hugging Face部署流程解析及应用

02-02

内容概要：本文详细阐述了DeepSeek这款先进AI语言模型在不同操作系统（Windows、Linux、Mac）上的三种主流部署方式——基于Ollama、LM Studio以及Hugging Face的方法。具体来说，对于每种部署方式，都介绍了安装必要...

探秘Hugging Face与DeepSeek：AI开源世界的闪耀双子星

邓邓子的博客

02-11

2038

本文深入探讨 Hugging Face 和 DeepSeek 在 AI 开源领域的卓越贡献，剖析它们的技术优势、应用场景以及对未来 AI 发展的深远影响，带你领略 AI 开源世界的无限魅力。

如何将 huggingface上的模型文件下载到本地

m0_73222051的博客

10-24

2万+

✏️评论，你的意见是我进步的财富！

【NLP，Huggingface，Colab】使用 Trainer 训练模型，并保存模型参数

溢流眼泪的博客

07-10

3367

【代码】【NLP，Huggingface，Colab】使用 Trainer 训练模型，并保存模型参数。

不会修改HuggingFace模型下载默认缓存路径？一篇教会你!

DaVenci的博客

04-15

3万+

草履虫都能看懂的HuggingFace的Transformers库模型缓存路径修改教程。

通过阿里云盘+colab下载 huggingface大模型

u011075046的博客

12-07

2131

阿里云盘+colab可以大大提速大模型下载时间，从huggingface到自己电脑上，10分钟就完成了

尝试 Stable Diffusion（通过Google Colab）

主要记录了工作之余胡乱学习的知识，大部分是入门级别的内容。主要是为了自己未来有用到时能快速上手，相当于是个备忘录。当然，也很开心其他人可以从中找到对自己有用的信息。^_^

09-01

7669

学习通过Google Colab使用 Stable Diffusion 生成图像。主要参考资料：Get Started With Stable Diffusion (Free) in Google Colab for AI Generated Art

colab+huggingface微调模型

Eddy的博客

03-05

564

如何使用colab+huggingface微调模型

(转)Colab上的大模型图像识别实战

完颜振江

05-06

133

至此，我们已经完成了已经简单的图像识别，通过使用 Python 中强大的图像处理库 PIL 和深度学习模型库 transformers，我们成功地将图像加载、预测，并通过绘制边界框和标签进行了可视化展示。

【大模型】Hugging Face下载大模型的相关文件说明

神马都会亿点点的毛毛张

03-07

6696

上图是毛毛张在的官网上的ChatGLM-6B大模型的所有文件，对于初学者来说，对于上面的文件是干什么的很多小伙伴是很迷糊的，根本不知道是干什么的，毛毛张接下来将简单讲述一下上面的每个文件的作用。

使用Google Colab免费部署属于自己的Stable Diffusion模型在线服务

Old丶X

04-08

2695

Stable Diffusion模型（稳定扩散模型）是一种用于生成式建模的深度学习模型，它使用随机微分方程（SDE）来建模连续时间的动态过程。在图像、声音、文本等各种领域都有广泛的应用。与传统的生成式模型相比，Stable Diffusion模型能够生成更加高质量的样本。其原理是通过对随机微分方程进行离散化，将连续时间的过程转换为离散时间的过程，然后通过反向传播算法进行求解。是一种基于云端的Jupyter笔记本环境，它提供了免费的GPU和TPU资源，使得深度学习训练变得更加便捷和高效。

AI绘画部署-Stable Diffusion（huggingface API图片生成初体验）

qq_43188358的博客

01-24

7187

最近，在很多地方都看到了各个大佬用AI生成的神图，索性从网上搜集资料部署一下体验一下AI绘画的魅力。本文基于huggingface API在colab上构建AI绘画。

为什么模型无法传到hugging face仓库

最新发布

03-11

<think>好的，用户问的是如何解决将模型上传到Hugging Face Model Hub失败的问题。首先，我需要回忆一下Hugging Face的上传流程和相关文档。根据用户提供的引用内容，特别是引用[4]提到了上传本地模型的步骤，包括新建模型文件和对应仓库路径。这可能涉及到使用Hugging Face Hub的API或者客户端库。首先，常见的上传失败原因可能包括认证问题。用户可能没有正确登录或者没有设置访问令牌。根据引用[2]和[4]，使用Hugging Face客户端库需要用户登录，可能需要通过huggingface-cli login命令来设置token。这时候需要检查用户的token是否正确，是否有写入权限。其次，网络连接问题也可能导致上传失败。用户可能在网络不稳定的环境下，或者被防火墙拦截。需要建议用户检查网络连接，或者尝试使用镜像站，如引用[5]提到的清华镜像，但上传的话可能需要直接连接到Hugging Face的服务器，所以可能需要排除代理问题。然后，模型文件的结构是否正确也很重要。Hugging Face的模型仓库通常需要特定的文件，比如model card（README.md）、模型权重文件、配置文件等。如果用户遗漏了必要文件，比如model_index.json或者配置文件，上传可能会失败。需要检查文件是否完整，并参考引用[1]中的模型卡要求。另外，仓库名称和路径是否正确。引用[4]提到仓库路径是/username/model_name，所以用户需要确保在创建仓库时名称正确，没有冲突，并且有权限访问该仓库。如果仓库已经存在或者名称不符合规范，也可能导致失败。还有可能是版本冲突，比如用户尝试覆盖已有的文件而没有适当的权限，或者使用git时出现冲突。这时候需要建议用户先拉取最新的更改，解决冲突后再推送。工具版本的问题也不容忽视。如果用户使用的huggingface_hub库版本过旧，可能存在兼容性问题。建议用户升级到最新版本，并查看官方文档是否有更新。最后，如果用户遇到特定的错误信息，比如403 Forbidden，这通常表示权限问题；如果是413 Payload Too Large，可能是文件大小超过限制，这时候需要分块上传或者使用LFS。用户需要根据具体的错误信息来排查，可能需要查看日志或命令行输出。综合以上可能的原因，我需要一步步引导用户检查每个环节，从认证、网络、文件结构、仓库设置到工具版本，并提供具体的解决步骤，比如如何正确设置token，如何组织文件结构，如何解决git冲突等。同时，可以引用相关的引用内容来支持建议，比如引用[4]关于上传步骤，引用[5]关于镜像的使用（虽然上传可能不涉及镜像，但可以帮助用户理解配置）。</think>### 分步解决方案：Hugging Face模型上传失败排查与修复 1. **认证与权限检查** - 确保已安装最新版`huggingface_hub`库并登录： ```bash pip install --upgrade huggingface_hub huggingface-cli login ``` 粘贴有效token（需在Hugging Face账户设置中创建）[^4] - 检查仓库权限：确认目标仓库属于您的账户或您有写入权限（组织仓库需管理员授权） 2. **文件结构与规范验证** - 必须包含： - 模型文件（`.bin`或`.safetensors`） - 配置文件（`config.json`） - 模型卡`README.md`（包含模型说明、使用示例等）[^1] - 推荐结构示例： ``` my_model/ ├── README.md ├── config.json ├── pytorch_model.bin └── special_tokens_map.json ``` 3. **上传方法选择** *方法一：网页端上传* - 进入https://huggingface.co/new创建新仓库 - 通过拖拽直接上传文件（单个文件≤5GB）[^2] *方法二：Git操作* ```bash git lfs install git clone https://huggingface.co/your-username/your-model cd your-model git lfs track *.bin # 标记大文件 git add . git commit -m "添加模型文件" git push ``` *方法三：使用Python库* ```python from huggingface_hub import HfApi api = HfApi() api.upload_folder( folder_path="local_model", repo_id="username/model-name", repo_type="model" ) ``` 4. **常见错误处理** - **403 Forbidden**：重新生成token并设置正确作用域（需包含write权限） - **413 Payload Too Large**： - 使用Git LFS处理大文件 - 安装LFS后执行： ```bash git lfs track "*.bin" git add .gitattributes ``` - **文件冲突**：先执行`git pull --rebase`同步远程仓库 5. **网络问题排查** - 尝试切换网络环境 - 检查防火墙设置（需允许git协议和HTTPS） - 国内用户可配置SSH加速： ```bash git config --global url."ssh://git@ssh.cc.清华镜像站.edu.cn/".insteadOf https://huggingface.co/ ``` 6. **验证上传结果** - 访问`https://huggingface.co/username/model-name`查看文件列表 - 通过代码测试加载： ```python from transformers import AutoModel model = AutoModel.from_pretrained("username/model-name") ``` ###