
Spark Streaming
wql_zero
如有版权问题,或者文章中有疑问联系QQ:1078956079
展开
-
Spark Streaming之Receive分发
以Socket为例,SocketInputDStream对应的流数据接收器为SocketReceiver,在SocketInputDStream中通过getReceiver方法获取该流数据接收器:在StreamingContext启动过程中,ReceiverTracker会把流数据接收器Receiver分发到Executor上,在每个Executor上,由ReceiverSuper...原创 2019-01-07 22:51:54 · 461 阅读 · 0 评论 -
Spark Streaming之容错性
为了保证系统的高容错性,Spark Streaming期初考虑到如下情况:1:利用spark本身的容错设计,存储级别(MEMORY_AND_DISK_2)和RDD抽象设计能够处理集群中任何Worker节点的故障;2:由于spark运行多种运行模式,器Driver端可能运行在Master节点或者在集群中的任意节点上,这样让Driver端具备容错能力是一个很大的挑战,但是由于SparkStre...原创 2019-01-08 22:03:37 · 657 阅读 · 0 评论