CloudShuffleService 开源项目启动与配置教程

CloudShuffleService 开源项目启动与配置教程

CloudShuffleService Cloud Shuffle Service(CSS) is a general purpose remote shuffle solution for compute engines, including Spark/Flink/MapReduce. 项目地址: https://gitcode.com/gh_mirrors/cl/CloudShuffleService

1. 项目的目录结构及介绍

CloudShuffleService（CSS）项目是一个通用的远程混洗解决方案，旨在为计算引擎（如Spark/Flink/MapReduce）提供可靠、高性能和弹性的数据混洗能力。以下是项目的目录结构及各部分的简要介绍：

• api: 包含CSS的API定义和接口。
• client: 客户端实现，用于Map/Reduce任务推送和获取混洗数据。
• common: 公共模块，包括一些共享的类和工具。
• conf: 配置文件目录，包含CSS的默认配置文件。
• css-assembly_*: 打包文件，包含了编译后的CSS集群相关代码。
• dev: 开发工具和脚本。
• docs: 文档目录，包含了项目的说明和用户手册。
• img: 存储文档中使用的图片。
• network-common: 网络通信相关的公共模块。
• patch: 包含了对Spark等计算引擎的补丁。
• sbin: 包含了启动和停止CSS集群的脚本。
• service: CSS服务端代码，包括Master和Worker。
• spark-shuffle-manager-*: 用于Spark的混洗管理器。

2. 项目的启动文件介绍

CSS项目的启动脚本位于sbin目录下：

• start-all.sh: 用于启动整个CSS集群，包括Master和所有Worker节点。
• start-workers.sh: 用于在ZooKeeper模式下启动Worker节点。

以start-all.sh为例，该脚本会执行以下步骤：

1. 设置CSS_HOME环境变量。
2. 启动CSS Master节点。
3. 启动CSS Worker节点。

3. 项目的配置文件介绍

CSS项目的配置文件主要位于conf目录下，以下是主要的配置文件及其作用：

• css-defaults.conf: CSS集群的默认配置文件，定义了CSS运行时所需的各种参数，如集群名称、工作模式（独立或ZooKeeper）、网络设置、存储设置等。
• css-metrics.properties: 定义了CSS集群的监控指标。
• workers: 定义了集群中所有Worker节点的地址信息。

配置文件示例：

# css-defaults.conf
css.cluster.name = my-css-cluster
css.worker.registry.type = zookeeper
css.zookeeper.address = 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181

# 网络配置
css.push.io.threads = 128
css.fetch.io.threads = 64
css.network.timeout = 600s

# 存储配置
css.diskFlusher.base.dirs = /data00/css,/data01/css
css.hdfsFlusher.base.dir = hdfs://namenode:9000/css

在修改配置文件后，需要同步到集群中的每个节点，并重新启动CSS服务以使配置生效。

CloudShuffleService Cloud Shuffle Service(CSS) is a general purpose remote shuffle solution for compute engines, including Spark/Flink/MapReduce. 项目地址: https://gitcode.com/gh_mirrors/cl/CloudShuffleService