实时计算、离线计算、流式计算、批量计算 之间的关系
批量和流式的区别:1.数据处理单位:批量计算按数据块来处理数据,每一个task接收一定大小的数据块,比如MR,map任务在处理完一个完整的数据块后(比如128M),然后将中间数据发送给reduce任务。流式计算的上游算子处理完一条数据后,会立马发送给下游算子,所以一条数据从进入流式系统到输出结果的时间间隔较短(当然有的流式系统为了保证吞吐,也会对数据做buffer)。这样的结果就是...
转载
2018-04-30 22:49:04 ·
24163 阅读 ·
0 评论