Hadoop2.x实战：Eclipse本地开发环境搭建与本地运行wordcount实例

最新推荐文章于 2025-04-08 14:05:14 发布

Evankaka

最新推荐文章于 2025-04-08 14:05:14 发布

阅读量6.7k

点赞数 4

分类专栏： Hadoop实战演练文章标签： Hadoop2.x Eclipse

本文链接：https://blog.youkuaiyun.com/Evankaka/article/details/51712590

版权

本文详细介绍了如何在Windows上使用Eclipse进行Hadoop2.x应用程序的开发，包括环境配置、插件安装、连接参数设置，并通过WordCount实例演示了本地运行过程。在配置过程中，解决了权限、安全模式、SASL认证、winutils.exe缺失和hadoop.dll缺失等常见问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka

摘要：本文主要讲了如何在windows上通过eclipse来远程运行hadoop应用程序

hadoop版本：2.7.2

hadoop安装系统：ubuntu14.04

eclipse版本:luna

eclipse安装系统:window64

一、开发环境配置

1、windows下载源码

到http://hadoop.apache.org/releases.html 下载源码如下：

解压后放在一个地方：

2、安装hadoop-eclipse-plugin-2.7.2.jar（具体版本视你的hadoop版本而定）

下载地址：http://download.youkuaiyun.com/detail/tondayong1981/9432425

首先把hadoop-eclipse-plugin-2.7.2.jar（具体版本视你的hadoop版本而定）放到eclipse安装目录的plugins文件夹中，如果重新打开eclipse后看到有如下视图，则说明你的hadoop插件已经安装成功了：

其中的“hadoop installation directory”配置项用于指向你的hadoop安装目录（就是上一步的hadoop解压后的目录），在windows下你只需要把下载到的hadoop-2.7.2.tar.gz包解压到某个位置，然后指向这个位置即可。

3、配置连接参数

选择windwos->show view->others

确定后在弹出的窗口中选择map/reduce locations，然后右键New Hadoop location

　配置eclipse中的Map/Reduce Locations，如下图所示

注意，这里的linmaster指代的是linux的地址:

其对应的关系在：C:\Windows\System32\drivers\etc\hosts

# Copyright (c) 1993-2009 Microsoft Corp.
#
# This is a sample HOSTS file used by Microsoft TCP/IP for Windows.
#
# This file contains the mappings of IP addresses to host names. Each
# entry should be kept on an individual line. The IP address should
# be placed in the first column followed by the corresponding host name.
# The IP address and the host name should be separated by at least one
# space.
#
# Additionally, comments (such as these) may be inserted on individual
# lines or following the machine name denoted by a '#' symbol.
#
# For example:
#
#      102.54.94.97     rhino.acme.com          # source server
#       38.25.63.10     x.acme.com              # x client host

# localhost name resolution is handled within DNS itself.
#127.0.0.1       localhost
#10.75.4.22           localhost
10.75.4.25       linmaster