实时计算模式

最新推荐文章于 2025-03-17 09:00:00 发布

原创最新推荐文章于 2025-03-17 09:00:00 发布 · 303 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#storm #spark

idea 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了三种主流的数据流处理框架：Storm、Spark Streaming 和 ELK。分别展示了它们如何处理来自不同数据源（如点击流、传感器数据和日志）的数据，并通过一系列组件（如 Flume、Kafka、Redis、MySQL 和 HBase）进行数据处理与存储。同时对比了这三种框架在处理流程上的异同。

storm模式
log -> flume -> kafka -> storm -> spout -> bolt(redis) -> bolt(mysql) -> bolt(hbase)

spark streaming模式
log -> flume -> kafka -> spark streaming-> map -> reduce -> redis(mysql)

数据源
clicks(点击流),sensor(传感器),log(日志)

ELK模式
log -> ELK框架