本文介绍了三种主流的数据流处理框架：Storm、Spark Streaming 和 ELK。分别展示了它们如何处理来自不同数据源（如点击流、传感器数据和日志）的数据，并通过一系列组件（如 Flume、Kafka、Redis、MySQL 和 HBase）进行数据处理与存储。同时对比了这三种框架在处理流程上的异同。
storm模式
log -> flume -> kafka -> storm -> spout -> bolt(redis) -> bolt(mysql) -> bolt(hbase)
spark streaming模式
log -> flume -> kafka -> spark streaming-> map -> reduce -> redis(mysql)
数据源
clicks(点击流),sensor(传感器),log(日志)
ELK模式
log -> ELK框架
storm模式
log -> flume -> kafka -> storm -> spout -> bolt(redis) -> bolt(mysql) -> bolt(hbase)
spark streaming模式
log -> flume -> kafka -> spark streaming-> map -> reduce -> redis(mysql)
数据源
clicks(点击流),sensor(传感器),log(日志)
ELK模式
log -> ELK框架
扫一扫
1204
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
