Eclipse Hadoop开发环境搭建

最新推荐文章于 2022-12-10 22:46:26 发布

原创最新推荐文章于 2022-12-10 22:46:26 发布 · 557 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #eclipse #分布式 #工作 #集群

大数据专栏收录该内容

19 篇文章

订阅专栏

本文介绍如何在Eclipse环境中搭建Hadoop开发环境，并通过WordCount实例演示基本操作流程。涉及环境变量配置、所需文件准备、DFSLocations配置等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

准备工作

搭建完成的Hadoop分布式集群或者伪分布式。
eclipse.zip包
hadop-2.5.0.tzr.gz包
hadoop-eclipse-plugin-2.5.0.jar插件
备用文件：
hadoop.dll
winutils.exe

文件目录

这里写图片描述
如图所示：
1. eclipse-java-neon-x86_64.zip解压及安装eclipse。
2. hadoop-2.5.0.tar.gz解压及安装hadoop在windows上。
注：此处的hadoop包需要和linux服务器上的hadoop包版本相同，否则可能会出现一些莫名奇妙的错误。
3. 另外三个文件是搭建过程中需要的插件和其他文件。

开始搭建

首先完成Windows下hadoop环境变量的配置。

如图：首先添加HADOOP_HOME，路径为Windowx下hadoop的解压路径；然后修改path变量，添加记录。
将hadoop-eclipse-plugin-2.5.0.jar插件复制到eclipse/plugins目录。如图：
开启eclipse：Windows->Preferences->Hadoop Map/Reduce添加Windows下hadoop的解压路径。如图：
Windows->Show View->Other->Map/Reduce Locations。如图：
设置完成之后将看到如下页面。

注：looc为我的一个项目，存在DFS Locations则说明以上步骤无误（存在Error是因为还未配置DFS Locarions）。
点击黑色矩形圈出的指定按钮进行DFS Locations的配置。如图：
右键点击DFS Locations刷新查看是否链接成功（此时hadoop分布式集群或者伪分布式需要处于开启状态）。如图：

注：此处为连接成功之后所做的WordCount实例测试。创建input文件夹并上传三个.txt文档，运行WordCount.java得output文件夹中的内容，其中part-r-00000中为WordCount的结果。
另：第一次运行MapReduce程序需要先配置HDFS路径，右键代码编辑区空白处，选择Run As->Run Configurations。如图：

点击Run即可开始运行，之后便可以选择Run As->Run on Hadoop运行MapReduce程序。
附：

package com.looc.wordcount;

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context)
                throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

问题解决

如何存在一些问题可进行如下操作：
1. 将准备工作第五点中的两个文件复制到hadoop/bin目录下。如图：
这里写图片描述
2. 修改hadoop分布式集群或者伪分布式中core-site.xml文件。如图：

3. 修改hadoop分布式集群或者伪分布式中hdfs-site.xml文件，添加如下记录。如图：

4. 防火墙也可能成为连接不成功的原因之一。