< 自用文儿 > Google CoLab (Colaboratory) 用 4 步来下载 Huggingface.co 的模型到 Google Drive

原因:

这个方法最高效,测试的模型 Qwen/Qwen2-Audio-7B-Instruct 大概 16GB (多文件),用时 3分27秒, 放到了 Google Drive 里,用 4 步实现。

之前有写过几篇文章来描述用 script ,GitHub 应用来下载模型,但是都因为阿里云的主机 ECS 我买的配置太低,对大文件 15GB 以上的无法做缓存。 

使用 Google colab 下载 Qwen/Qwen2-Audio-7B-Instruct

1. 快速了解 google colaboratory  

在云端的免费 Jupyter Notebook 环境,能在浏览器上编写和执行 Python 代码。

  • 免费用户有3个终端
  • 配置 12GB 内存,110GB 硬盘,送 GPU TPU CPU 这些算力
  • 常用软件包几乎都预装,因为拿到手已经使用 43GB,我试装 Huggingface-CLI TensorFlow、PyTorch 都在
  • 可以执行部分 Linux 命令。
  • 与Google Drive 集成,见首图
  • 应该可以多人、团队使用。
  • 基于网页运行,当网页关闭,切换操作设备,短时间的中断出不会产生。

想当于 Google 给每位注册用户提供免费的 3 台配置不低的 Python 虚拟环境。

再看看中国这些大厂,百度 外卖,阿里 淘宝,腾讯 游戏充值,抖音 卖货,用科技全跟普通老百姓抢生意,各个儿遥遥领先, 这个建墙为西方世界贡献最大。

2. 本实践的逻辑

利用 colab 可以访问 Google Drive 的功能,在 colab 终端加载 Google 网盘,用 Huggingface-CLI 来下载到网盘指定的目录。

3. 在 colab 上的命令

1) 新建一个 colab 

从 google drive 用户界面创建 colab 如首图,或在 coble 控制台登录,会打开一个新 tab 如下:

2) 在命令行添加 code

如图:我也是第一次使用,还是试探,分步执行。你也可以把它们放到一起执行

  1. 先安装 huggingface hub 库,发现已有
  2. 登录 huggingface, 这里需要粘贴来自 huggingface.co access token. 跟在你的电脑上运行一样,只是终端不是在一个窗口里。
  3. 加载 Google 网盘
  4. 给网盘有写的权限
  5. 使用命令执行下载

前期了解 colab 用了几小时,下载不到三分半。

4. 验证

以上在网页里操作,当看到 colab 命令执行完成。 Google Drive 网页同步出现。不到 1 分钟,日本的主机也可以看到文件:

小结:

在猜代码时,发现右侧辅助档的 Google Gemini 可免费使用,不过主要集中在代码方面。

代码编写时有 AI 会辅助提示

我试过在 colab 终端生成 keys 用 git clone 命令复制仓库,发现不支持 | 连接的命令执行,最后用 Python 格式创建的文件。

执行 Linux 命令是在一个子 Shell 里运行,结束只显示结果,不会影像其他执行命令。比如: !cd /etc/ , 执行完即出后,你当的位置并不改变,因为那时一个独立的子 shell 

特有用的 % 来变更当前位置。

adguard 会阻拦页面的对话窗口,要排除。

可以直接加载模型,像在本地一样 :from transformers import AutoTokenizer, AutoModel

网上说配合 ngrok 可以实现页面显示

开始下载欣欣念已久的 stabilityai/stable-diffusion-3.5-large 到 google drive

后面是同步到 Baidu 盘的问题,现在 JPN 主机是挂载着 google drive,并且设置不用 cache,用之前的 bdgg.sh 能不能一起工作,晚上去试试。

< OS 有关 > 利用 google-drive-ocamlfuse 工具,在 Ubuntu 24 系统上 加载 Google DRIVE 网盘-优快云博客

< OS 有关> BaiduPCS-Go 程序的 菜单脚本 Script: BaiduPCS-Go.Menu.sh (bdgo.sh)-优快云博客

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值