3、Ray数据科学库与生态系统全面解析

Ray数据科学库与生态系统全面解析

1. Ray Datasets数据处理

Ray Datasets是Ray的一个高级库，它包含名为Dataset的数据结构、多种用于从不同格式和系统加载数据的连接器、用于转换数据集的API、构建数据处理管道的方法，并且与其他数据处理框架有很多集成。Dataset抽象基于强大的Arrow框架。

要使用Ray Datasets，需要安装Python版的Arrow，例如运行 pip install pyarrow 。以下是一个简单示例，从Python数据结构在本地Ray集群上创建分布式Dataset：

import ray
items = [{"name": str(i), "data": i} for i in range(10000)]
ds = ray.data.from_items(items)   
ds.show(5)  

上述代码使用 ray.data 的 from_items 方法创建了一个Dataset，并打印了其前五项。

Dataset API大量采用函数式编程，常见的函数式API调用有 map 、 filter 和 flat_map ：
- map ：并行地将数据集中的每个元素转换为其他内容。
- filter ：根据布尔过滤函数移除数据点。
-