大数据学习22:大数据实时计算框架——Storm

一、大数据实时计算框架

1、什么是实时计算?流式计算?
	举例:自来水厂处理自来水(特点:持续性、流式计算)

在这里插入图片描述)

2、对比:离线计算和流式计算
	(*)离线计算:MapReduce和Spark Core,  数据的批量处理(Sqoop-->HDFS-->MR(SparkCore)--->HDFS)
	(*)流式计算:Storm和Spark Streaming, 数据的实时性  (Flume-->Kafka-->Storm(SparkStreaming)-->Redis )
	
3、常见的实时计算系统
	(*)Apache Storm
	(*)Spark Streaming
	(*)阿里巴巴JStorm:Alibaba JStorm is an enterprise fast and stable streaming process engine.
	(*)Apache Flink:第三代大数据处理引擎,既可以进行离线计算,也可以进行流式计算

二、Apache Storm体系结构

1、Storm也是主从结构,存在单点故障问题  ----> 实现HA(借助ZooKeeper)

三、安装和配置Apache Storm

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值