Storm核心组件介绍

Nimbus: 主控节点

用于接收,提交任务,来分配集群任务,集群的监控

Zookeeper:存储storm集群的数据存储、心跳、集群状态

Nimbus任务分配到supervisor

分组策略

1)fields Grouping 按照字段分组,相同字段发送到同一个task中

2)shuffle Grouping

随机分组 轮询分组、随机分发tuple,保证每个bolt中的tuple数量相同

3)Non grouping

不分组,不关心谁收到tuple,每个bolt接受的额单词不同

4)all grouping 广播分组

一块块的接受发送

5)global grouping

全局分组,一个线程,全部给task Id最小的,根据线程ID判断,之分给线程ID最小的

本地模式

LocalCluster

集群模式

StormSubmitter

# API 

两种实现方式

接口:IrichSpout IRichBolt

抽象类:BaseRichSpout  BaseRichBolt

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值