Storm
关注
分享
扫一扫
文章平均质量分 80
82年的哇哈哈
这个作者很懒，什么都没留下…
展开
-
Storm的Act机制
ack是什么ack 机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。另外需要注意的，当spout触发fail动作时，不会自动重发失败的...原创 2018-08-09 13:38:11 · 406 阅读 · 0 评论 -
Storm基础（一）
storm架构图：nimbus：负责资源调度和任务分配supervisor：接受nimbus分配的任务，启动和停止属于自己管理的worker进程worker：运行具体处理组件的逻辑task：worker中每一个spout／bolt的线程称为一个task，在storm0.8之后，task不再与物理线程对应，同一个spout\bolt的task可能会共享一个物理线程，该线程称为ex...原创 2018-08-06 20:31:31 · 322 阅读 · 0 评论 -
storm的act机制原理
act机制总结1、spout发送的一条消息，会有系统生成一个ROOTID（一个64为随机数）2、由于用户在发送数据的时候，指定了meeeageId，所以在发送数据的时候，会创建一个pendingMap map以ROOTID为key，以用户的messageId为valueDataTuple：含有数据ActTuple：不含有数据 含有ROOTID 锚点ID3、sp...原创 2018-08-14 22:24:16 · 816 阅读 · 0 评论 -
Storm的API
1、wordcount2、act实现 3、接口选择4、并行度的设置 待完成...原创 2018-08-15 10:00:48 · 434 阅读 · 0 评论 -
Storm的WordCount案例spout bolt详细总结 实现接口IRich IBASE区别
spout介绍一个spout是由流组成的数据源在storm的拓扑里，通常情况下会读取外部的数据源 然后emit（发射）到拓扑里面，比如是kafka，MySQL或者redis等等，Spout有两种实现一种是可靠的消息实现，如果发送失败则会重试，另外一种是不可靠的消息实现可能会出现消息丢失，spout可以一次声明多个数据流通过OutputFieldsDeclarer类的declareStream...原创 2018-08-15 15:42:38 · 1787 阅读 · 0 评论