风暴拓扑设计与优化指南
1. 拓扑组件并行化
在进行拓扑组件的并行化时,我们可以按照以下步骤操作:
1. 并行化 TimeIntervalExtractor :给予其与 Checkins 喷口相同的并行级别,因为它不像 GeocodeLookup 螺栓那样依赖外部服务等待。代码如下:
builder.setBolt("time-interval-extractor", new TimeIntervalExtractor(), 4)
.shuffleGrouping("geocode-lookup");
- 解决拓扑中的瓶颈 :对于
HeatMapBuilder,通过字段分组来明确其输入,代码如下:
builder.setBolt("heatmap-builder", new HeatMapBuilder(), 4)
.fieldsGrouping("time-interval-extractor", new Fields("time-interval"));
- 处理
Persistor:考虑到后续可能需要扩展,设置比执行器
超级会员免费看
订阅专栏 解锁全文
57

被折叠的 条评论
为什么被折叠?



