5、谷歌云机器学习数据处理全攻略

谷歌云机器学习数据处理全攻略

在机器学习项目中，数据是一切的基础。当我们在谷歌云平台（GCP）上开展机器学习项目时，需要解决数据的迁移、存储和转换等问题。下面将详细介绍相关内容。

1. 数据迁移至谷歌云

在 GCP 上启动机器学习项目时，首要任务是将项目相关数据迁移到谷歌云环境。数据迁移时，需关注可靠性、安全性、可扩展性以及迁移过程的易管理性。谷歌云提供了四种主要的数据迁移工具，以满足不同用例的需求，这些工具适用于各种数据迁移场景，包括数据中心迁移、数据备份、内容存储和机器学习等。

1.1 谷歌云存储迁移工具

当数据集规模不大（几 TB 以内）且希望将其存储在谷歌云存储（GCS）存储桶中时，此选项较为合适。GCS 是一种对象类型的存储系统，类似于计算机的本地文件系统。谷歌云提供了直接从计算机上传数据到 GCS 存储桶的工具，可通过以下三种方法上传文件或文件夹，并可在谷歌云控制台的上传进度窗口中跟踪上传进度：
- 使用谷歌云控制台 UI ：
1. 打开浏览器，访问谷歌云控制台页面。
2. 从左侧面板中点击“云存储”，打开“存储桶”页面，该页面将列出项目中的所有现有存储桶。
3. 若相关存储桶已存在，点击其名称；否则，创建一个新的存储桶来存储上传的文件或文件夹。
4. 进入存储桶后，可看到存储桶详细信息和现有内容，使用“上传文件”或“上传文件夹”按钮直接上传数据。该 UI 还提供创建新文件夹、下载或删除文件的选项。
注意：文件夹上传仅支持 Chrome 浏览器，其他浏览器可能无法使用。
- 使用命令行 ：谷歌云提供了