原因:
这个方法最高效,测试的模型 Qwen/Qwen2-Audio-7B-Instruct 大概 16GB (多文件),用时 3分27秒, 放到了 Google Drive 里,用 4 步实现。
之前有写过几篇文章来描述用 script ,GitHub 应用来下载模型,但是都因为阿里云的主机 ECS 我买的配置太低,对大文件 15GB 以上的无法做缓存。
使用 Google colab 下载 Qwen/Qwen2-Audio-7B-Instruct
1. 快速了解 google colaboratory
在云端的免费 Jupyter Notebook 环境,能在浏览器上编写和执行 Python 代码。
- 免费用户有3个终端
- 配置 12GB 内存,110GB 硬盘,送 GPU TPU CPU 这些算力
- 常用软件包几乎都预装,因为拿到手已经使用 43GB,我试装 Huggingface-CLI TensorFlow、PyTorch 都在
- 可以执行部分 Linux 命令。
- 与Google Drive 集成,见首图
- 应该可以多人、团队使用。
- 基于网页运行,当网页关闭,切换操作设备,短时间的中断出不会产生。
想当于 Google 给每位注册用户提供免费的 3 台配置不低的 Python 虚拟环境。
再看看中国这些大厂,百度 外卖,阿里 淘宝,腾讯 游戏充值,抖音 卖货,用科技全跟普通老百姓抢生意,各个儿遥遥领先, 这个建墙为西方世界贡献最大。
2. 本实践的逻辑
利用 colab 可以访问 Google Drive 的功能,在 colab 终端加载 Google 网盘,用 Huggingface-CLI 来下载到网盘指定的目录。
3. 在 colab 上的命令
1) 新建一个 colab
从 google drive 用户界面创建 colab 如首图,或在 coble 控制台登录,会打开一个新 tab 如下:
2) 在命令行添加 code
如图:我也是第一次使用,还是试探,分步执行。你也可以把它们放到一起执行
- 先安装 huggingface hub 库,发现已有
- 登录 huggingface, 这里需要粘贴来自 huggingface.co access token. 跟在你的电脑上运行一样,只是终端不是在一个窗口里。
- 加载 Google 网盘
- 给网盘有写的权限
- 使用命令执行下载
前期了解 colab 用了几小时,下载不到三分半。
4. 验证
以上在网页里操作,当看到 colab 命令执行完成。 Google Drive 网页同步出现。不到 1 分钟,日本的主机也可以看到文件:
小结:
在猜代码时,发现右侧辅助档的 Google Gemini 可免费使用,不过主要集中在代码方面。
代码编写时有 AI 会辅助提示
我试过在 colab 终端生成 keys 用 git clone 命令复制仓库,发现不支持 | 连接的命令执行,最后用 Python 格式创建的文件。
执行 Linux 命令是在一个子 Shell 里运行,结束只显示结果,不会影像其他执行命令。比如: !cd /etc/ , 执行完即出后,你当的位置并不改变,因为那时一个独立的子 shell
特有用的 % 来变更当前位置。
adguard 会阻拦页面的对话窗口,要排除。
可以直接加载模型,像在本地一样 :from transformers import AutoTokenizer, AutoModel
网上说配合 ngrok 可以实现页面显示
开始下载欣欣念已久的 stabilityai/stable-diffusion-3.5-large 到 google drive
后面是同步到 Baidu 盘的问题,现在 JPN 主机是挂载着 google drive,并且设置不用 cache,用之前的 bdgg.sh 能不能一起工作,晚上去试试。
< OS 有关 > 利用 google-drive-ocamlfuse 工具,在 Ubuntu 24 系统上 加载 Google DRIVE 网盘-优快云博客
< OS 有关> BaiduPCS-Go 程序的 菜单脚本 Script: BaiduPCS-Go.Menu.sh (bdgo.sh)-优快云博客