5、Storm集群技术解析与应用实践

Storm集群技术解析与应用实践

1. Storm集群基础组件

Storm集群通常部署在多个节点上，包含以下关键进程：
- Nimbus ：作为Storm框架的主进程，类似于Hadoop的JobTracker。它负责拓扑提交任务，将整个代码包分发到集群的所有其他监督节点，并在集群的各个监督节点之间分配工作进程。一个Storm集群只有一个Nimbus守护进程。
- Supervisors ：实际进行数据处理的进程。一个Storm集群通常有多个监督节点。当拓扑提交给Nimbus并完成工作进程分配后，监督节点内的工作进程会完成所有处理工作，这些工作进程由Supervisor守护进程启动。
- UI ：Storm框架提供基于浏览器的界面，用于监控集群和各种拓扑。UI进程必须在集群中的任何一个节点上启动，通过 http://ui - node - ip:8080 访问。

2. 拓扑提交后的工作流程

当拓扑提交到集群后，各个组件协同工作：
- Nimbus ：作为集群的主Storm进程，本质上是一个Thrift服务器。拓扑由Storm提交者提交到该守护进程，代码（JAR文件及其所有依赖项）从该节点分发到集群的所有其他节点。它设置集群和拓扑的所有静态信息，分配所有工作进程并启动拓扑，同时监控集群中的故障情况。如果某个监督节点出现故障，Nimbus会将该节点上执行的任务重新分配给集群中的其他节点。
- Zookeeper ：在