如何本地调试Storm topology

最新推荐文章于 2023-02-23 00:33:04 发布

原创最新推荐文章于 2023-02-23 00:33:04 发布 · 3.4k 阅读

1 ·

CC 4.0 BY-SA版权

storm程序开发专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用LocalCluster在Main程序中提交topology，并针对Maven工程提供了最佳实践建议，包括如何正确配置pom.xml文件以避免类或方法未找到的问题。

1. 在Main程序中，要使用 LocalCluster提交topology

LocalCluster cluster = new LocalCluster();
cluster.submitTopology("word-count", conf,
        builder.createTopology());
Thread.sleep(10000);
cluster.shutdown();

2. 如果是Maven工程，则最好单独制作Storm工程，使pom.xml中只有storm程序需要的依赖和repository，

否则可能会导致某些类或方法找不到，引起 Error on initialization of server mk-worker

pom.xml

<repositories>
    <repository>
        <id>github-releases</id>
        <url>http://oss.sonatype.org/content/repositories/github-releases/</url>
    </repository>
    <repository>
        <id>clojars.org</id>
        <url>http://clojars.org/repo</url>
    </repository>
    <repository>
        <id>twitter4j</id>
        <url>http://twitter4j.org/maven2</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>storm-core</artifactId>
        <version>0.9.6</version>
        <!--scope>provided</scope-->
    </dependency>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>storm-hdfs</artifactId>
        <version>0.9.6</version>
        <!--scope>provided</scope-->
    </dependency>
    <dependency>
        <groupId>com.google.guava</groupId>
        <artifactId>guava</artifactId>
        <version>13.0.1</version>
    </dependency>
    <dependency>
        <groupId>commons-collections</groupId>
        <artifactId>commons-collections</artifactId>
        <version>3.2.1</version>
    </dependency>
</dependencies>