实时分析Meetup RSVP数据:构建流式数据管道
在实时数据处理的领域中,构建一个完整的流式数据管道是一项具有挑战性但又极具价值的任务。下面将详细介绍如何从数据收集、分析到最终的数据访问,逐步构建一个完整的流式数据管道。
分析层的构建与运行
分析层在整个流式数据管道中起着关键作用,它负责对收集到的数据进行实时分析。以下是构建和运行分析层的具体步骤:
1. 提交拓扑到本地集群 :使用 StormSubmitter 提交拓扑到本地集群,代码示例如下:
StormSubmitter.submitTopology(TOPOLOGY_NAME,
getConfig(),
buildTopolgy());
本地集群非常适合测试和开发,只需创建并提交集群即可。
2. 构建和运行分析层项目 :
- 切换到分析层源代码所在目录: cd $EXAMPLE_CODE_HOME/Chapter9/analysis-tier
- 使用Maven构建项目: mvn clean package
- 使用Storm部署项目: $STORM_INSTALL_DIR/bin/storm jar target/analytics-0.0.1.jar com.streamingdata.analysis.TopMeetupTopicsTopology
3.
超级会员免费看
订阅专栏 解锁全文

17

被折叠的 条评论
为什么被折叠?



