14、Ray Datasets：高效数据处理与机器学习训练的利器

Ray Datasets：高效数据处理与机器学习训练的利器

1. 引言

Ray Datasets 旨在为 Ray 上的数据处理提供可扩展、灵活的抽象。它是 Ray 库生态系统中读取、写入和传输数据的标准方式，尤其在机器学习工作负载中，可作为数据摄取和预处理层，借助 Ray Train 和 Ray Tune 实现高效的训练扩展。

2. Ray Datasets 基础

2.1 安装

要使用 Ray Datasets，需先进行安装：

pip install "ray[data]==2.2.0"

2.2 创建数据集

以下代码展示了如何创建一个简单的数据集并执行基本操作：

import ray
# 创建一个包含 [0, 10000) 范围内整数的数据集
ds = ray.data.range(10000)
# 基本操作：显示数据集大小、获取一些样本、打印模式
print(ds.count())  # -> 10000
print(ds.take(5))  # -> [0, 1, 2, 3, 4]
print(ds.schema())  # -> <class 'int'>

2.3 读写存储

Ray Datasets 支持多种常见的序列化格式，如 CSV、JSON 和 Parquet，可读写本地磁盘和远程存储（如 HDFS 或 AWS S3）。以下是将数据