Colab保存模型到google drive

这篇博客介绍了如何在Google Colab中训练模型后将其保存到Google Drive,确保数据不会丢失。首先,通过`google.colab import drive`挂载个人的Google Drive,然后改变工作目录到指定的Drive路径。接着,可以使用`torch.save`或`pickle`保存模型和实验结果。保存的文件将会存储在Drive的指定路径下,下次读取前需再次挂载Drive。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一般在colab中训练好模型之后,我们都希望保留模型参数或者实验结果,这样下次就可以直接访问而不需要再次run model。

首先保存模型的代码比较简单,比如用pytorch的话:

import torch
torch.save(model, './model.pt')

或者用pickle保存模型结果,具体怎么使用pickle可以看我的另一篇文章

但问题是,这个保存并没有和自己的google drive云盘绑定,实际上只是保存在了colab的当前内存中。。等你下次刷新就没了。

所以在存模型之前需要挂到drive上,并且进入drive的路径:

#connect to self drive
from google.colab import drive
drive.mount('/content/drive')

import os
os.chdir('/content/drive/My Drive')

然后你存的任何东西都在drive的首页路径下了,下次读取之前也先跑上面这段代码。如果想更改其他路径,用os.chdir即可。

### 如何在 Google Colab保存 Hugging Face Transformers 模型 为了确保能够在 Google Colab 中成功保存 Hugging Face Transformers 模型,可以按照如下方法操作: #### 使用 `save_pretrained` 方法保存模型 Hugging Face 提供了简便的方法来保存训练好的 Transformer 模型。通过调用 `model.save_pretrained(save_directory)` 函数可以直接将模型及其配置文件存储到指定路径下[^1]。 ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer # 加载预训练模型和分词器 model_name = 'bert-base-uncased' model = AutoModelForSequenceClassification.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name) # 定义保存路径 save_path = '/content/drive/MyDrive/huggingface_models/bert_base_uncased' # 保存模型和分词器 model.save_pretrained(save_path) tokenizer.save_pretrained(save_path) ``` #### 将模型上传至云端或本地磁盘 由于 Colab 默认的工作空间会在会话结束后被清除,因此建议将模型保存到持久化存储位置,比如 Google Drive 或者其他云服务上。可以通过挂载 Google Drive 来实现这一点[^3]。 ```python from google.colab import drive drive.mount('/content/drive') ``` 这样就可以把之前定义的 `save_path` 设置为指向 `/content/drive/...` 下的一个目录,从而保证即使关闭浏览器标签页或者重启实例之后仍然能够访问已保存的数据。 #### 验证保存成功的模型 完成上述步骤后,可以从相同的路径重新加载该模型以验证其是否正确保存并可正常工作。 ```python loaded_model = AutoModelForSequenceClassification.from_pretrained(save_path) loaded_tokenizer = AutoTokenizer.from_pretrained(save_path) ``` 如果一切顺利,则说明已经成功地在 Colab 上完成了 Hugging Face Transformers 模型保存过程。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值