利用Ant构建Hadoop高效开发环境

最新推荐文章于 2021-09-26 18:06:50 发布

jessezhang1981

最新推荐文章于 2021-09-26 18:06:50 发布

阅读量100

点赞数

分类专栏： hadoop 文章标签：大数据 java 运维

hadoop 专栏收录该内容

36 篇文章

订阅专栏

本文介绍如何使用Ant构建Hadoop开发环境，通过Ant完成代码编译、打包、部署到Hadoop服务器，实现高效开发与真实环境验证。文中详细展示了基于Ant的bulid.xml配置，以及解决构建过程中遇到的问题方法，如Includeantruntime设置、JRE路径配置、SFTP依赖引入等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近Hadoop的研究中，都是利用Mockito来模拟数据进行，下一个阶段需要在Hadoop服务器上做大量的运行进行验证，同时也要为正式使用做准备。

今天考虑使用Ant来搭建一个Hadoop的开发和调试环境，不使用hadoop自带的插件。

思路如下：

1、利用Ant在开发机器上将代码编译、打包，最终得到可执行的jar包。

2、利用Ant的SSH属性，将jar包传到hadoop服务器的指定工作目录。

这样就开发机器做为编码客户端，与执行服务器之间关联，代码部署的时间基本不用考虑，开发效率可以提高，也利于在真实环境进行验证程序。

再扩展开来，可以利用Ant操作hadoop服务器，实现与开发客户端的交互，因为Ant可以通过SSH实现Linux服务器的命令操作。

如下是根据需要改造的Ant的bulid.xml文件，实现了：目录清理、目录构建、编译、打包、SFTP上传功能：

 
   view plain 
  
<?xml version="1.0" encoding="UTF-8"?>  
<project name="AntTest" default="all" basedir=".">  
      
    <property name="src" location="./src" />  
    <property name="build" location="./build/classes" />  
    <property name="dist" location="./lib" />  
  
  
    <path id="project.classpath">  
        <fileset dir="D:\Project\Java\OpenSource\Hadoop\hadoop-0.20.205.0-bin\hadoop-0.20.205.0\lib">  
            <include name="*.jar" />  
        </fileset>  
    </path>  
  
    <target name="all" depends="clean,sshexec"></target>  
    <!-- Generate directory -->  
    <target name="init">  
        <tstamp />  
        <mkdir dir="${build}" />  
        <mkdir dir="${dist}" />  
    </target>  
  
    <!-- compile java -->  
    <target name="compile" depends="init">  
        <javac srcdir="${src}" destdir="${build}" includeantruntime="no">  
            <compilerarg line="-encoding GBK " />  
            <!-- 给编译器指定编码，防止出现："警告： 编码 GBK 的不可映射字符"-->  
            <classpath refid="project.classpath" />  
        </javac>  
    </target>  
    <!-- jar -->  
    <target name="dist" depends="compile">  
        <mkdir dir="${dist}" />  
        <jar jarfile="${dist}/hadoop_project.jar" basedir="${build}" />  
    </target>  
  
    <!-- clean -->  
    <target name="clean">  
        <delete dir="${build}" />  
        <delete dir="${dist}" />  
        <echo message="clean dir">  
        </echo>  
    </target>  
  
    <!-- run -->  
    <target name="run" depends="dist">  
        <java classpath="${build}" classname="demo.guide.chp7.HelloWorld">  
            <classpath refid="project.classpath" />  
            <!--     <classpath refid="${build}" />  -->  
        </java>  
    </target>  
  
    <!-- sftp -->  
    <target name="sshexec" depends="run">  
        <scp todir="root:****@192.168.9.181:/tmp/" trust="true">  
            <fileset dir="${dist}" />  
        </scp>  
    </target>  
  
</project>  

在Ant改造中，遇到了以下几个问题，特记录如下：

1、 Includeantruntime 问题：

运行报错：

compile:

[javac]D:\Project\Java\hadoop_workspace\hadoop_project\bulid.xml:37: warning:'includeantruntime' was not set, defaulting to build.sysclasspath=last; set tofalse for repeatable builds

[javac] Compiling 1 sourcefile to D:\Project\Java\hadoop_workspace\hadoop_project\build\classes

原因及解决方法：

新版本的Ant需要设置Includeantruntime属性：

includeantruntime :指出是否应在类路径中包括 Ant 运行时程序库，默认为 yes。

这里设置为“no”即可解决。

2、 Error running javac.execompiler的错误

编译的时候，出现build.xml:32 Errorrunning javac.exe compiler 或者 build.xml:97: Unable tofind a javac compiler 的错误。

原因及解决方法：

这个原因是没有正确指定JRE的路径，javac找不到导致的。在Eclispe里面打开后，发现是默认到JRE的安装目录，这里修改为指向到JDK的目录即可解决。

修改的菜单路径为： Window-->Preferences-->Java-->InstalledJRES

增加JDK的目录并选中即可（取消之前的JRE目录的选择）。

3、实现SFTP遇到Could notload a dependent class com/jcraft/jsch/Logger 的错误：