5、基于Storm实现GitHub提交计数仪表盘

基于Storm实现GitHub提交计数仪表盘

1. 核心概念

在Storm中，每个bolt实例会有自己的电子邮件/提交计数对的映射。为了确保所有bolt实例中每个电子邮件的计数准确，相同的电子邮件必须发送到同一个bolt实例，这可以通过字段分组（fields grouping）来实现。

例如，当使用内存映射来实现电子邮件计数时，就需要使用字段分组。当然，也可以使用跨bolt实例共享的资源来避免这个需求。

2. 设置Storm项目

要在开发环境中让Storm JARs进入类路径，最简单的方法是使用Apache Maven。可以在项目的 pom.xml 文件中添加以下代码：

<project>
  ..
  <dependencies>
  ..
    <dependency>
      <groupId>org.apache.storm</groupId> 
      <artifactId>storm-core</artifactId>
      <version>0.9.3/version> 
      <!-- <scope>provided</scope> --> 
    </dependency>
  ..
  </dependencies>
</project>

添加这些依赖后，就可以在开发机器上编写代码并运行Storm拓