
spark
yanghuiysz
这个作者很懒,什么都没留下…
展开
-
Spark---Reciever
总体过程 首先ReceiverSupervisor启动,继而启动BlockGenerator和Receiver,其中BlockGenerator首先启动一个定时器定时将接收的数据封装成Block,然后启动一个线程不断将Block数据推送给BlockManager。而Receiver启动后不断接收数据,并不断将接受的数据添加到BlockGenerator中,这样BlockGenerato原创 2017-11-26 21:21:01 · 320 阅读 · 0 评论 -
spak学习----窗口函数参数理解
spak学习—-窗口函数Spark Streaming提供了窗口计算(window computations)的功能,允许我们每隔一段时间(sliding duration)对过去一个时间段内(window duration)的数据进行转换操作(tranformation).slideDruation AND windowDurationslideDruation控制着窗口计算的频度,window原创 2017-11-26 20:35:46 · 571 阅读 · 0 评论