在Eclipse中运行、配置Hadoop

最新推荐文章于 2019-06-13 21:08:43 发布
原创 最新推荐文章于 2019-06-13 21:08:43 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #hadoop #分布式文件系统 #hadoop集群 #mapreduce

本文详细介绍了如何在Eclipse环境中安装Hadoop插件，配置MapReduce环境，创建并运行WordCount程序。从安装hadoop-0.20.2-eclipse-plugin.jar开始，到打开MapReduce视图，设置Hadoop路径，创建MapReduce工程，最后通过Eclipse运行WordCount，展示了完整的流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


版权所有： zhe-jiang.he@hp.com  严禁转载！


1.安装插件

准备程序：

eclipse-3.3.2 （这个版本的插件只能用这个版本的eclipse）
hadoop-0.20.2-eclipse-plugin.jar （在hadoop-0.20.2/contrib/eclipse-plugin目录下）

将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下，重启eclipse。

2.打开MapReduce视图

Window -> Open Perspective -> Other 选择Map/Reduce，图标是个蓝色的象。

3.添加一个MapReduce环境

在eclipse下端，控制台旁边会多一个Tab，叫“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”，如图所示：

在弹出的对话框中填写如下内容：

Location name（取个名字）
Map/Reduce Master（Job Tracker的IP和端口，根据mapred-site.xml中
最低0.47元/天 解锁文章

200万优质内容无限畅学
hadoop在eclipse上运行实例
qq_45672631的博客
11-02 3017
上一篇博客阐述了怎么创建hadoop与eclipse的连接（因为是在GUI版上装的linux版eclipse），所以这一篇不仅介绍怎么做，而且还讲解怎么创建windows上eclipse与linux上的hadoop的连接。 (11条消息) Centos7(GUI)下的hadoop与eclipse的连接并运行wordcount实例_qq_45672631的博客-优快云博客 这里，在hadoop已经成功的前提下，我们在官网下载eclipse （这里用的是2021-06版的）java-jdk（这里用的11.
如何使用eclipse开发hadoop程序
单枞技术生活
01-18 8614
说明:环境说明：服务器端：虚拟机下安装centos6.8, jdk1.7, hadoop2.7.5客户端：win10,jdk1.7,hadoop2.7.5,eclipseMars.2 Release (4.5.2)                  一、安装并配置相关软件1、下载windows下使用的eclipse 插件hadoop-eclipse-plugin-2.7.2.jar,以及winut
[Hadoop]基于Eclipse的Hadoop应用开发环境配置
SmartSi
05-10 234
安装Eclipse 下载Eclipse（点击进入下载），解压安装。我安装在/usr/local/software/目录下。 在eclipse上安装hadoop插件 下载hadoop插件（点击进入下载） 把插件放到eclipse/plugins目录下。 重启eclipse，配置hadoop installation directory 如果安装插件成功，打开Window–...
在eclipse下运行hadoop程序
Bryan__的专栏
01-28 4190
环境：Ubuntu安装在虚拟机，hadoop安装在Ubuntu，eclipse安装在win7下，这样eclipse就不会太卡。   1、复制对应版本hadoop的eclipse插件jar包，比如我的hadoop是0.21.0版本，就使用hadoop-0.21.0-eclipse-plugin.jar，jar包放在eclipse安装目录/plugins/ 下，重启eclipse   2、添加
如何在Eclipse上操作Hadoop
Dawn_Zi的博客
06-13 820
在Eclipse上如何对Hadoop进行操作，首先需要配置环境变量 由上图可见，需要配置俩个环境变量，一个是HADOOP_HOME,需要将工具类的地址输入 另一个是HADOOP_USER_NAME，因为在虚拟机中，root是最高权限用户，所以我们为了eclipse和Hadoop关联，需要在环境配置中把配置一个值为root的环境 接下来需要配置path 继续在系统变量中找到名为path的变量，点击...
eclipse远程运行Hadoop程序
养猪少年日记的博客
12-18 1006
一、利用Hadoop的本地模式，在Eclipse中执行本地数据计算 写好的程序在本地测试完之前再提交到远程服务器上进行数据分析还是很有必要的，这就需要利用Hadoop提供的本地模式了 1.解压hadoop-2.5.2.tar.gz到本地，如：D:\hadoop-2.5.2 2.配置环境变量 HADOOP_PATH=D:\hadoop-2.5.2 3.下载windows64位平台的hadoop插件包...
使用Eclipse搭建Hadoop编程环境
热门推荐
Growth Diary
03-18 1万+
在前人的基础上，进行总结学习，发现bug，修改bug 系统平台：Ubuntu14.04TLS（64位） Hadoop环境：Hadoop2.7.1 Eclipse：Neon.2 Release(4.6.2) Eclipse插件：hadoop-eclipse-plugin-2.7.1.jar 一.编译环境搭建 1.在eclipse上安装Hadoop插件 把下载好的hadoop-eclipse-plugin-2.7.1.jar文件拷贝到ecli
在eclipse中配置hadoop插件
04-17
标题中的“在eclipse中配置hadoop插件”是指在集成开发环境Eclipse中安装和配置Hadoop插件，以便于开发和调试Hadoop MapReduce项目。这个过程涉及到多个步骤和知识点，包括Eclipse的扩展性、Hadoop的开发工具支持...
eclipse配置hadoop
11-16
一、Eclipse 中配置 Hadoop 插件 配置 Hadoop 插件是使用 Eclipse 进行 MapReduce 开发的第一步。首先，需要安装 Eclipse 3.3.2 和 Hadoop 0.20.2-eclipse-plugin.jar 插件，插件可以在 Hadoop 0.20.2/contrib/...
Eclipse中配置运行Hadoop MapReduce教程
根据提供的文件信息，我们将针对“eclipse运行MapReduce架包”这一主题，详细探讨在Eclipse集成开发环境中开发和运行基于Hadoop的MapReduce应用程序的相关知识点。 ### 知识点概述 在深入到具体知识点之前，我们先...
eclipse运行mr插件hadoop-eclipse-plugin-2.6.0.jar
04-20
4. **配置Hadoop连接**: 在创建新的Hadoop Map/Reduce项目时，需要配置Hadoop集群的连接信息。这包括Hadoop的主节点地址、端口等。这些信息通常可以在Hadoop集群的配置文件如`core-site.xml`和`hdfs-site.xml`中找到...
在Windows上使用Eclipse配置Hadoop MapReduce开发环境
天亮说晚安
05-19 9235
在Windows上使用Eclipse配置Hadoop MapReduce开发环境1. 系统环境及所需文件 windows 8.1 64bit Eclipse (Version: Luna Release 4.4.0) hadoop-eclipse-plugin-2.7.0.jar hadoop.dll & winutils.exe 2. 修改Master节点的hdfs-site.xml添加如下内容<
hadoop的eclipse的使用安装
Null的博客
03-23 3234
1.把插件名为 hadoop-eclipse-plugin-2.7.5.jar 放在ECLIPSE_HOME/plugins 目录下2.把 hadoop-2.7.5-centos-6.7.tar.gz 解压到本地电脑3.在本机配置windows环境变量 HADOOP_HOME=C:\myProgram\hadoop-2.7.5  必须要配置的。 path加入：%HADOOP_HOME%\bin;4...
在windows7下Eclipse中运行Hadoop的WordCount程序
TechTrek的专栏
07-14 4031
如何在windows7下运行hadoop的wordcount
在Eclipse中运行hadoop程序
weixin_30950237的博客
12-14 294
1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。 2、打开map-reduce视图 在eclipse中，打开window——>open perspetive——>other，选择map/reduce。 3、选择Map/Reduce Locations标签页，新建一个L...
在eclipse中编写HDFS的Java程序
weixin_44721976的博客
05-27 512
1.开始我们需要配置jdk+eclipse+maven,文章参考链接https://blog.youkuaiyun.com/qq_44240521/article/details/90574089 2.在Eclipse里新建Maven Project 【file】-【new】-【Maven project】 如下图自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。 ...
Hadoop IDE开发环境配置（Eclipse配置）
kerry_55的博客
06-26 890
ü  安装eclipseü  下载 hadoop-eclipse-plugin-2.6.0.jarü  放在 Eclipse的plugins目录下 1.      若安装hadoop插件成功，打开eclipse, 打开【Windows】—&gt;【Preferences】后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置hadoop安装路径，然后点击【OK】。2....
hadoop环境配置在eclipse上配置的总结
gongrui_59的博客
07-09 606
这几天配置hadoop以及启动的一些问题的总结。。。。          首先配置！！！     hadoop配置文件所在地：  $HADOOP_HOME/etc/hadoop/     解压hadoop2.7.3 jar包 和 jdk1.8.0 的jar包  配置环境变量 ~/.profile 文件下     export JAVA_HOME="/mysoftware/jdk1.8.0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值