9、Storm拓扑设计与优化指南

Storm拓扑设计与优化指南

1. 拓扑组件并行化

在Storm拓扑中，并行化 TimeIntervalExtractor 较为简单。可以让它与 Checkins 喷口具有相同的并行度，因为它不像 GeocodeLookup 螺栓那样依赖外部服务。以下是设置并行度的代码示例：

builder.setBolt("time-interval-extractor", new TimeIntervalExtractor(), 4)
    .shuffleGrouping("geocode-lookup");

接下来，解决拓扑中的瓶颈问题，对 HeatMapBuilder 进行并行化设置：

builder.setBolt("heatmap-builder", new HeatMapBuilder(), 4)
       .fieldsGrouping("time-interval-extractor", new Fields("time-interval"));

最后，处理 Persistor 。与 GeocodeLookup 类似，预计之后需要对其进行扩展，因此任务数量要多于执行器数量：

builder.setBolt("persistor"