059 SparkStream介绍

本文介绍了不同类型的计算框架,包括离线计算框架如MapReduce和Hive,实时计算框架如Spark Core,交互式计算框架如Spark SQL和Hive,以及流式数据处理框架如Storm和Spark Streaming。这些框架针对不同的数据处理需求提供了多样化的解决方案。

  离线计算框架:MR,hive--》对时间要求不严格

  实时计算框架:SparkCore--》要求job执行时间比较快

  交互式计算框架:SparkSQL,Hive,--》提供SQL操作的框架

  流式数据处理框架:Storm,--》来一条数据就处理

  微观流式数据处理框架:SparkStream,--》流式批量处理,一个一个批次处理,只是批次之间的时间间隔比较小

 

1.

  

 

2.

  

 

3.

  

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值