Yahoo Streaming Benchmarks 项目教程

Yahoo Streaming Benchmarks 项目教程

streaming-benchmarks 项目地址: https://gitcode.com/gh_mirrors/st/streaming-benchmarks

1. 项目的目录结构及介绍

streaming-benchmarks/
├── apache-beam-validator/
├── cluster_setup/
├── conf/
├── data/
├── flink-benchmarks/
├── graphs/
├── pynotebooks/
├── runs/
├── spark-dstream-benchmarks/
├── spark-ss-benchmarks/
├── storm-benchmarks/
├── streaming-benchmark-common/
├── .gitignore
├── LICENSE
├── NOTICES
├── README.md
├── package.json
├── pom.xml
└── stream-bench.sh

目录结构介绍

• apache-beam-validator/: 包含与Apache Beam验证相关的文件。
• cluster_setup/: 包含集群设置相关的文件。
• conf/: 包含项目的配置文件。
• data/: 用于存储测试数据和结果。
• flink-benchmarks/: 包含与Apache Flink相关的测试文件。
• graphs/: 用于存储生成的图表文件。
• pynotebooks/: 包含Jupyter Notebook文件，用于数据分析和可视化。
• runs/: 用于存储测试运行记录。
• spark-dstream-benchmarks/: 包含与Apache Spark DStream相关的测试文件。
• spark-ss-benchmarks/: 包含与Apache Spark Structured Streaming相关的测试文件。
• storm-benchmarks/: 包含与Apache Storm相关的测试文件。
• streaming-benchmark-common/: 包含通用代码和工具。
• .gitignore: Git忽略文件配置。
• LICENSE: 项目许可证文件。
• NOTICES: 项目通知文件。
• README.md: 项目介绍和使用说明。
• package.json: 项目依赖管理文件（如果适用）。
• pom.xml: Maven项目配置文件。
• stream-bench.sh: 项目启动脚本。

2. 项目的启动文件介绍

stream-bench.sh

stream-bench.sh 是项目的启动脚本，用于设置和运行测试。该脚本支持以下操作：

• SETUP: 下载依赖项（如Storm、Spark、Flink、Redis和Kafka），清理临时文件并编译所有内容。
• STORM_TEST: 在单节点上使用Storm运行测试。
• SPARK_TEST: 在单节点上使用Spark运行测试。
• FLINK_TEST: 在单节点上使用Flink运行测试。
• APEX_TEST: 在单节点上使用Apex运行测试。
• STOP_ALL: 如果出现问题，停止所有为测试启动的进程。

使用示例

./stream-bench.sh SETUP
./stream-bench.sh STORM_TEST

3. 项目的配置文件介绍

conf/ 目录

conf/ 目录包含项目的配置文件，这些文件用于配置测试环境和参数。

主要配置文件

• storm-benchmarks/conf/storm.yaml: Apache Storm的配置文件，用于配置Storm集群和测试参数。
• spark-dstream-benchmarks/conf/spark-defaults.conf: Apache Spark的配置文件，用于配置Spark集群和测试参数。
• flink-benchmarks/conf/flink-conf.yaml: Apache Flink的配置文件，用于配置Flink集群和测试参数。

配置示例

# storm.yaml
storm.zookeeper.servers:
  - "localhost"
nimbus.host: "localhost"

# spark-defaults.conf
spark.master                     spark://localhost:7077
spark.executor.memory            1g

# flink-conf.yaml
jobmanager.rpc.address: localhost
taskmanager.numberOfTaskSlots: 4

通过这些配置文件，可以调整测试环境和参数，以满足不同的测试需求。

streaming-benchmarks 项目地址: https://gitcode.com/gh_mirrors/st/streaming-benchmarks