Distributed Hadoop Execution

 

Hadoop 带有一个ant的build脚本，修改target compile-examples中的include路径，设为自己的demo路径。然后运行 ant examples，会在build脚本目录下面生成一个build目录，里面已经包含了构建好的jar包等。

建一个JobServerMain，内容为

    public static void main(String[] args) throws IOException, InterruptedException
    {
        JobTracker.main(new String[]{});
    }

用于启动JobTracker。再建一个TaskServerMain，内容

    public static void main(String[] args) throws IOException
    {
        TaskTracker.main(new String[]{});
    }

用于启动TaskTracker。

接下来设置配置文件，将  hadoop-default.xml  中

• dfs.name.dir
• dfs.data.dir
• mapred.local.dir
• mapred.system.dir
• mapred.temp.dir
• mapred.job.tracker
• mapred.job.tracker.info.port
• mapred.task.tracker.output.port
• mapred.task.tracker.report.port

的项 copy 到 hadoop-site.xml 中，然后放到 build 目录下面。

修改 mapred.job.tracker，设为非local的地址值，这里设置为 192.168.0.200:50020。接下来的TaskTracker和Client都会连接到这个中心服务器地址。

写两个bat文件来执行两个Tracker，注意TaskTracker的bat里面，classpath要写完整的绝对路径，因为它启动的子进程是使用父进程的classpath的，如果使用相对路径可能会出现问题。

先启动JobTracker，它会读取配置文件，然后列出一堆参数，最后启动jetty web server。

接着启动TaskServer。TaskServer可以在本机或其它地方启动，只要能够连接上JobTracker就可以了。这里在本地运行。启动后，它也是读取配置文件，然后监听Tracker和TrackerInfo两个服务的端口，最后连接到JobTracker。

最后运行 Client。在运行过程中，JobTracker会不断发送Task到TaskTracker中，TaskTracker则执行MapReduce操作，执行完毕后通知JobTracker，JobTracker则定时反馈进度给Client。若此时有新的TaskTracker连接到 JobTracker中，也会承担起当前的任务执行工作。此外从Client的输出可以看到，Map和Reduce都有进度，这表明两个操作是交替执行的，当一个Map任务执行完毕，就会新增一个Reduce任务到JobTracker中。

当Map操作结束后，Client输出:

060401 111358 task_r_err30a 0.5% reduce > sort
060401 111359 task_r_err30a 0.5% reduce > sort
060401 111400 task_r_err30a 0.5% reduce > sort

因为之前已经已经了部分Reduce操作，这里先进行合并。接下来是排序操作。

060401 111358 task_r_err30a 0.5% reduce > sort
060401 111359 task_r_err30a 0.5% reduce > sort
060401 111400 task_r_err30a 0.5% reduce > sort

任务执行完毕后，清理临时文件:

060401 111622 Task task_r_1o8w5i is done.
060401 111623 Server connection on port 50050 from 192.168.0.204: exiting
060401 111630 task_m_1yw1dp done; removing files.
060401 111640 task_m_2lhjqk done; removing files.
060401 111650 task_m_2o8wh3 done; removing files.

这样就完成了一整个过程。要执行大的任务，可以在一部Server上面运行JobTracker，其它n部机上运行TaskTracker，各Server处于百兆网上面，这样任务的复制传输和处理就会很高效了。

文章最后，我要说说JobTracker的网络性能。根据Source，它是使用线程来处理连接的阻塞IO，当连接上来的TaskTracker比较多的时候，可能会有IO上面的问题。不知道Google的那套方案，JobTracker是不是也是分布式的呢，它们给出的性能测试中，机器群集达到了1800 台之多，如果所有的Input都集中在一个client，job管理都集中在一个JobTracker，这样机器负担会很大，而且刚开始数据传输也没有充分利用带宽。