开源项目推荐：Yahoo! Streaming Benchmark 扩展

开源项目推荐：Yahoo! Streaming Benchmark 扩展

yahoo-streaming-benchmark An extension of Yahoo's Benchmarks 项目地址: https://gitcode.com/gh_mirrors/ya/yahoo-streaming-benchmark

1. 项目基础介绍与主要编程语言

Yahoo! Streaming Benchmark 扩展项目是基于原始 Yahoo! Streaming Benchmark 代码的一个分支，由 dataArtisans 团队开发。该项目旨在对原始的 Yahoo! Streaming Benchmarks 进行扩展，以适应不同的流处理框架和场景。主要编程语言为 Java，同时也使用了 Scala、Clojure 和 Shell 脚本。

2. 项目的核心功能

该项目的核心功能是通过一系列的流处理基准测试程序，帮助用户评估不同流处理框架的性能。主要包括以下几种类型的基准测试：

• Flink: 支持使用 Apache Flink 进行流处理，包括利用 Flink 的窗口和触发器支持，以及将状态存储直接在 Flink 节点中，以消除远程键值存储的性能瓶颈。
• Storm: 支持使用 Apache Storm 进行流处理，适用于需要在外部构建状态以实现容错的计算场景。
• 数据生成器: 提供了数据生成器，用于生成与原始 Yahoo 数据生成器兼容的数据流，可支持 Flink 和 Kafka。

3. 项目最近更新的功能

最近更新的功能包括：

• 状态查询: 增加了直接在 Flink 节点中查询键值状态的功能，这在与 Flink 状态存储相关的基准测试程序中非常有用。
• 高键基数支持: 在 Flink 和 Storm 的基准测试中增加了对高键基数的支持，以适应具有大量广告活动或键的场景。
• 配置优化: 对配置文件进行了优化，使得用户能够更容易地根据自己的环境调整基准测试程序的参数。

通过这些更新，该项目不仅提供了更为全面的性能评估工具，而且提高了其易用性和灵活性。

yahoo-streaming-benchmark An extension of Yahoo's Benchmarks 项目地址: https://gitcode.com/gh_mirrors/ya/yahoo-streaming-benchmark