hadoop项目打包的两种方法

一. IDEA 打包

1.右击项目名称，选择Open Module Settings

2.选择Artifacts，点击中间绿色的+号，选择JAR,再选择第二个选项

3.点击Main Class右边的小方块选择主类，下一个选项如果要打成一个压缩包选择第一个，如果其他依赖包要分开放也就是最后是多个jar包选择第二个选项。我选第一个，然后点击OK

    

4.勾选include in project build，点击+和-号添加最后jar包内的其他jar包，主要是将项目依赖的jar包导入，如果一开始配置好了，直接点OK就行。

5.然后点击Build按钮，选择Build Artifacts... 

6.出现以下选择框，第一次使用选择Build，非第一次选Rebuild    

7.Build完之后多出了out目录与target目录，接着就可以去本地out目录下找已经完成的jar包

二. maven打包

加入以下：

<plugin>
  <artifactId>maven-assembly-plugin</artifactId>
  <version>2.5.5</version>
  <configuration>
    <descriptorRefs>
      <descriptorRef>jar-with-dependencies</descriptorRef>
    </descriptorRefs>
    <archive>
      <manifest>
        <mainClass>project.MrClean</mainClass>
      </manifest>
    </archive>
  </configuration>
  <executions>
    <execution>
      <id>make-assembly</id>
      <phase>package</phase>
      <goals>
        <goal>single</goal>
      </goals>
    </execution>
  </executions>
</plugin>

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-compiler-plugin</artifactId>
  <configuration>
    <source>1.8</source>
    <target>1.8</target>
  </configuration>
</plugin>

使用maven命令

mvn assembly:assembly

或者maven试图点击assembly:assembly指令

三. 执行如下：

先删除执行结果目录：

hadoop fs -rm -r -f /user/zhy/cleanlogs/20170206

然后 执行jar：

hadoop jar hadoop_spark_bookproj-1.0-SNAPSHOT-jar-with-dependencies.jar 20170206

然后获取执行结果：

hadoop fs -get /user/zhy/cleanlogs/20170206 /home/zhy/mytest