向storm cluster提交作业

最新推荐文章于 2025-09-06 21:58:22 发布

转载最新推荐文章于 2025-09-06 21:58:22 发布 · 72 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/hailincai/blog/537618

文章标签：

#大数据 #python

本文提供了一步一步的指导，详细解释了如何在Maven项目中配置Topology，使用TopologyBuilder创建拓扑结构，并通过StormSubmitter在Nimbus服务器上提交作业。此外，还展示了如何在nimbusserver上使用命令行工具提交stormjob。

2019独角兽企业重金招聘Python工程师标准>>>

Reference page : https://storm.apache.org/documentation/Running-topologies-on-a-production-cluster.html

在pom.xml文件中增加如下的内容

<plugin>
    <artifactId>maven-assembly-plugin</artifactId>
    <configuration>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
        <archive>
            <manifest>
                <mainClass><main class></mainClass>
            </manifest>
        </archive>

        <!—need to remove the storm jar dependency because the storm dependency will be added automatically -->
        <dependencySets>
            <excludes>
                <exclude>org.apache.storm:storm-core</exclude>
            </excludes>
        </dependencySets>
    </configuration>
</plugin>