colab读写外部文件的四种方式

原文

全文首发自He Liu的博客,原文链接:https://heliu.io/2018/10/20/colab读写外部文件的四种方式/

引言

众所周知,colab是google提供的运行在云端的jupyter notebook环境。里面集成了许多著名的机器学习python库。由于这个环境是运行在google虚拟机上的,显然与自己的pc不在一个文件系统。那么怎么与我们自己的文件交互呢?

colab文档里提供了四种方式,分别是:

  1. 从本地直接上传
  2. 连接Google Drive
  3. 连接Google Sheet
  4. 连接Google Cloud Storage

下面就来分别描述。

与本地文件交互

本地文件上传

files.upload() 返回一个由我们上传的所有文件构成的一个字典。 这个字典的key是文件名, 这个字典的value是我们上传的文件的data

from google.colab import files

uploaded = files.upload()

for fn in uploaded.keys():
    print(
### Google Colab 文件上传方法 在 Google Colab 中,可以通过多种方式实现文件的快速上传。以下是几种常见的方式及其具体操作: #### 方法一:通过 `files.upload()` 函数上传本地文件 可以直接利用 Python 的交互功能来上传单个或多个文件Colab 环境中。这种方法适合少量的小型文件上传。 ```python from google.colab import files uploaded = files.upload() ``` 上述代码会弹出一个文件选择窗口,允许用户手动选择要上传的文件[^2]。需要注意的是,此方法适用于较小规模的文件传输场景。 #### 方法二:挂载 Google Drive 并上传大文件 对于较大的数据集或其他类型的大型文件,推荐先将文件存储于用户的 Google Drive 账户下,再将其挂载至 Colab 工作空间。这样可以有效避免网络波动带来的影响并提升效率。 1. **挂载 Google Drive** 使用以下代码片段完成驱动器连接: ```python from google.colab import drive drive.mount('/content/drive') ``` 2. **指定路径访问目标文件夹** 假设已知文件位于 `/content/drive/MyDrive/Colab Notebooks` 下,则可通过如下指令读取该目录中的内容: ```python !ls /content/drive/MyDrive/Colab\ Notebooks/ ``` 3. **复制或者移动文件到工作区** 如果希望进一步简化处理流程,可考虑把所需资源迁移到当前运行时的工作区内以便后续调用。例如: ```bash !cp "/content/drive/MyDrive/Colab Notebooks/example.txt" . ``` 以上步骤能够显著改善因传统浏览器接口限制造成的速度瓶颈问题[^1]。 #### 方法三:解压缩 ZIP 文件 当面对压缩包形式的大批量资料时,在成功导入之后还需要对其进行提取才能正常使用。此时可以借助 Linux 自带工具轻松达成目的。 假设有一个名为 `big2015_g.zip` 的档案存放在云端硬盘里,并打算释放到特定位置供实验项目专用的话,那么应该按照下列示范编写脚本: ```bash !unzip '/content/drive/MyDrive/Colab Notebooks/big2015_g.zip' -d '/content/MyDrive/dataset' ``` 一旦确认所有组件均已妥善安置完毕后,为了节省配额建议及时清理原始打包版本以防占用过多宝贵的空间资源[^3]。 --- ### 注意事项 尽管提供了丰富的选项让用户自由挑选最契合需求的技术路线图,但在实际应用过程中仍需留意某些潜在约束条件比如免费版服务自带的时间超时机制以及磁盘限额等问题。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值