
Storm
likebutterfly
这个作者很懒,什么都没留下…
展开
-
Storm的基础知识-教程(1)
Storm集群的组件Storm集群在表面上类似于Hadoop集群。而在Hadoop上运行“MapReduce作业”,在Storm上运行“拓扑”。“作业”和“拓扑”本身是非常不同的 - 一个关键的区别是MapReduce作业完成会结束,而拓扑一直处理消息(或直到你杀死它)。Storm集群上有两种节点:主节点和工作节点。主节点运行一个名为“Nimbus”的守护进程,负责在集群周围分发代码,为...原创 2019-09-03 13:46:28 · 527 阅读 · 0 评论 -
Storm的基础知识-概念(2)
此页面列出了Storm的主要概念以及可以找到更多信息的资源链接。讨论的概念是:拓扑,流,Spout,Bolt,流分组,可靠性,任务,workers,性能调优。拓扑Topology拓扑是与流分组连接的Spout和Bolt的图形。实时应用程序的逻辑被打包到Storm拓扑中。资源:TopologyBuilder:使用此类在Java中构建拓扑在生产群集上运行拓扑本地模式:在本地模式下开发和...原创 2019-09-03 16:36:31 · 213 阅读 · 0 评论 -
Storm的基础知识-调度,并行,守护进程等(3)
调度SchedulerStorm现在有4种内置调度程序:DefaultScheduler,IsolationScheduler,MultitenantScheduler,ResourceAwareScheduler。ConfigurationStorm有各种配置可用于调整nimbus, supervisors和running topologies的行为。 某些配置是系统配置,无法通过拓扑基础...原创 2019-09-04 10:55:31 · 518 阅读 · 0 评论 -
Storm的基础知识-保证消息处理(4)
Storm提供了几种不同级别的保证消息处理,包括尽力而为,至少一次,以及通过Trident完成一次。1,What does it mean for a message to be “fully processed”?(消息“完全处理”是什么意思?)从Spout发射的元组可以触发基于它的数千个元组。例如,考虑流式字数统计拓扑:TopologyBuilder builder = new Topo...原创 2019-09-04 18:28:50 · 474 阅读 · 0 评论