21、MATLAB 远程数据读取与分析全解析

MATLAB 远程数据读取与分析全解析

1. 远程数据读取概述

在 MATLAB 中，我们可以使用数据存储对象（datastore）来访问远程数据。通过创建数据存储对象，能够处理存储在远程位置的数据，如使用 Amazon S3、Windows Azure Blob Storage 和 Hadoop Distributed File System (HDFS) 等云存储中的数据。利用数据存储对象，我们可以在桌面版 MATLAB 中查看部分数据，在本地完成代码原型设计后，再将其扩展到集群或云端运行，这样能提高执行效率，因为在数据所在位置进行大型计算更为高效。

2. 不同远程存储的使用方法

2.1 Amazon S3

MATLAB 支持将 Amazon S3 作为在线文件存储服务。可以使用存储在 Amazon S3 上的数据创建 ImageDatastore、FileDatastore 或 TabularTextDatastore。指定数据位置时，需使用国际化资源标识符（IRI），格式为 s3://bucketname/path_to_file ，其中 bucketname 是存储桶名称， path_to_file 是文件或文件夹的路径。

使用 Amazon S3 数据存储的步骤如下：
1. 注册 Amazon Web Services (AWS) 根账户。
2. 使用 AWS 根账户创建 IAM（Identity and Access Management）用户。
3. 生成访问密钥，获取访问密钥 ID 和秘密访问密钥