Hadoop2.2.0 Eclipse Plugins设置

大数据学习之路----HDFS与Eclipse的搭建----集群外提交 使用Eclipse来充当client来对集群中的文件进行上传下载 一、环境搭建 就像搭建java环境变量一样,在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME 第二我们要配置HADOOP_USER_NAME 这里的名字一定要和虚拟机管理员的名字一... 阅读详情

通常我们可以用Eclipse作为Hadoop程序的开发平台。

1)  下载Eclipse

下载地址:http://www.eclipse.org/downloads/

根据操作系统类型,选择合适的版本下载并安装。

2)  下载并编译Hadoop的Eclipse插件

网上可直接下载到Hadoop 1.x 的Eclipse插件,但是该插件和Hadoop2.2 不兼容,所以无法使用。

Hadoop 2.2 的Eclipse插件正处于开发过程中,你可以直接下载源代码并编译。本人在编译过程中碰到了一些ant的配置错误导致无法正常编译,修改ant配置即编译成功,为方便大家,我直接提供编译后的.jar文件供大家下载:

代码下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin

编译后的插件下载地址:http://download.youkuaiyun.com/detail/zythy/6735167

3)  配置Hadoop插件

将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目录下,重启Eclipse即可看到该插件已生效。

通过Open Perspective菜单打开Map Reduce视图,如下:


选中大象图标,右键点击Edit Hadoop Location编辑Hadoop配置信息:


填写正确的Map/Reduce和HDFS信息。(具体根据您的配置而定)

 

4)  新建简单Mapreduce项目

通过向导新建一个Map/Reduce项目。在此过程中,请配置Hadoop的安装路径。


5)  通过Eclipse访问DFS

打开Resource视图,即可看到DFS:


此时,你可对DFS进行一些操作,比如上传本地文件到HDFS等等,如下图:

 

至此,Hadoop的开发环境大致配置完成,下一节我们将看到如何写一个简单的MapReduce程序并放到Hadoop集群上运行。


附上我自己本地环境的几个配置文件内容供大家参考,有错之处敬请指正,谢谢!

1)Core-stie.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

2)hdfs-site.xml

 <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/var/data/hadoop/hdfs/nn</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:/var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:/var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/var/data/hadoop/hdfs/dn</value>
</property>
</configuration>

3)Mapred-site.xml

<configuration>
  <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


4)yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties --> 
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
使用Eclipse在服务器上搭建Hadoop开发环境 通过本文的指导,你已经成功在服务器上搭建了Hadoop开发环境并配置了Eclipse插件。你现在可以使用Eclipse来编写、调试和运行Hadoop程序,提高开发效率。在进行Hadoop开发时,使用集成开发环境(IDE)可以提高开发效率。本文将介绍如何在服务器上使用Eclipse搭建Hadoop开发环境。至此,你已成功在服务器上搭建了Hadoop开发环境并配置了Eclipse插件。这是一个经典的WordCount示例,通过统计输入文本中单词的出现次数来演示MapReduce的基本原理。 阅读详情

相关推荐

使用Eclipse配置Hadoop应用开发环境的服务器

单击“Add Library”按钮,选择“User Library”,然后单击“Next”。输入一个名称(例如“Hadoop Libraries”),然后单击“OK”。在右侧的“Classpath Variables”选项卡上,单击“New”按钮。在弹出的对话框中,选择“Java Build Path”,然后单击“Libraries”选项卡。在“Hadoop Libraries”对话框中,单击“Add External JARs”按钮,并导航到Hadoop安装目录下的。选择所有JAR文件,并单击“OK”。

git_database727的博客 655

Eclipse开发环境设置

1、Hadoop开发环境简介 1.1 Hadoop集群简介   Java版本:jdk-6u31-linux-i586.bin   Linux系统:CentOS6.0   Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介   Java版本:jdk-6u31-windows-i586.exe   Win系统:Window

寂寞相思鸟 1368

hadoop-eclipse-plugin-2.2.0.jar

在eclipse中集成hadoop2控件,能够方便编写mapreduce等程序。在hadoop-2.3.0上运行成功

大数据分析入门-Windows下安装eclipse及Hadoop(windos下hadoop开发环境准备)

Windows下安装eclipse及Hadoop(windos下hadoop开发环境准备)

wisdom_lp的博客 1908

从JTAG到AS模式:一文搞懂EP4CE10E22C8N所有配置引脚(MSEL, nCONFIG, DATA0)的用法

本文深入解析EP4CE10E22C8N FPGA的配置引脚(MSEL, nCONFIG, DATA0)在不同模式下的使用方法,特别关注从JTAG到AS模式的切换要点。通过详细的配置模式对比、状态机分析和PCB布局建议,帮助开发者避免常见陷阱,提升FPGA配置成功率。

weixin_33713350的博客 322

手把手教你使用ESM-2进行蛋白质结构预测:从安装到实战

本文详细介绍了如何使用ESM-2蛋白质语言模型进行蛋白质结构预测,从环境准备、模型安装到实战应用。通过逐步指导,读者可以掌握ESM-2的配置、单序列预测、结果可视化及高级优化技巧,适用于生物信息学研究和药物开发。

weixin_29306875的博客 536

配置Hadoop开发环境(Eclipse)

Hadop 2.2.0 Eclipse开发环境配置

zythy的专栏 6万+

【Python】SimpleITK使用笔记

1. 概念 1.1 nii格式 1.2 SimpleITK 1.3 SimpleITK 图像 2. 基本操作 2.1 常见属性 2.1 读取和保存图像 2.2 SimpleITK图像数据和Numpy矩阵数据之间的转换

See_Star的博客 7900

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.zip Apache Ant(TM) version 1.8.4 compiled on May 22 2012 java version "1.7.0_45

甘道夫的大数据进化论 1748

大麦网抢票软件工具开发系列(一)

前言《大麦网》都知道吧,就是那个被网友声称“大麦网你卖啥了?”票务平台。近期有听到朋友说《大麦网》的票很难抢,基本上都是说:“哎哟喂,被挤爆啦,请稍后重试!”,也不知道《大麦网》...

架构文摘 1万+

MATLAB机械臂轨迹规划:在关节空间中生成多项式轨迹以及 jtraj函数(内容超详细讲解)

matlab机器人仿真,关节空间多项式轨迹生成

qq_40969179的博客 1万+

Linux系统下eclipse中配置hadoop开发环境

Linux系统下eclipse中配置hadoop开发环境 0.环境配置及说明 实验环境: 操作系统:CentOS6.5 hadoop版本:hadoop-2.2.0(需要提前搭建hadoop单机伪分布式环境) Eclipse版本:version 3.6.1 插件包名称:hadoop-eclipse-plugin-2.2.0 (已经编译...

weixin_34217773的博客 296

数据架构师必看:大数据时代的架构演进与实践

数据架构是企业数据资产的“骨架”——它决定了数据能多快被处理、多准被分析、多安全被存储。本文将聚焦从传统架构到大数据架构的关键转折点,覆盖技术选型、典型场景、落地挑战三大核心命题,帮助读者建立“演进思维”而非“固定思维”。本文将按“历史演进→核心概念→技术原理→实战案例→趋势展望”的逻辑展开,用“超市仓库升级”贯穿始终,让抽象的技术概念具象化。传统数据仓库:精但小,适合结构化、批量分析。大数据架构:大但乱,适合全类型、海量数据存储。流批一体:解决实时+批量的效率问题。湖仓一体。

AI Agent Harness Engineering 915

linux hadoop 开发环境,Eclipse中配置Hadoop开发环境

Eclipse中配置Hadoop开发环境相关阅读:1、下载eclipse,我下载的是eclipse-jee-juno-SR2-linux-gtk-x86_64.tar.gz2、解压到/home/coder/eclipse3、把hadoop安装路径中的/home/coder/hadoop-0.20.2/contrib/eclipse-plugin目录中的hadoop-0.20.2-eclipse-p...

weixin_34603379的博客 603

2️⃣ Coze创建智能体教学(2025年全新版本)

扣子平台提供强大支持,可将智能体轻松集成至各类社交平台,使智能体得以服务更为庞大的用户群体。当下支持集成的平台如下:​1️⃣豆包:作为聚焦 AI 内容创作的平台,非常适合发布充满创意、娱乐性强的智能体。​2️⃣飞书:适合发布用于办公协作的智能体,助力团队提升工作效率。​3️⃣微信:借助公众号或小程序的形式,能够服务海量微信用户。​4️⃣抖音:适合发布与短视频相关的智能体,为用户提供创意与娱乐服务。​

李同学Lino的博客 4589

【GameFramework框架内置模块】15、场景(Scene)

场景(Scene)模块,提供场景管理的功能,负责场景的加载、卸载、切换和管理。可以方便地管理不同场景之间的切换以及不同场景之间的信息传递。

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 1888

Eclipse下安装hadoop插件

Eclipse下安装hadoop插件 linux下安装eclipse 使用wget在/data/目录下下载安装包 cd /data/ wget http://archive.eclipse.org/technology/epp/downloads/release/luna/SR2/eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 安装eclipse插件 ...

松泥的博客 327

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Hadoop IDE开发环境配置(Eclipse配置)

ü  安装eclipseü  下载 hadoop-eclipse-plugin-2.6.0.jarü  放在 Eclipse的plugins目录下 1.      若安装hadoop插件成功,打开eclipse, 打开【Windows】—&gt;【Preferences】后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置hadoop安装路径,然后点击【OK】。2....

kerry_55的博客 940

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

eclipse连接hadoop集群

1、自行编译或者去网上下载相应的插件 hadoop-eclipse-plugin-2.6.0.jar 2、拷贝到eclipse的plugins目录下。重启eclipse,打windows->open perspective->other->map/reduce 可以看到map/reduce开发视图,点击。​ 3、在Window–>Show View中打开Map/Reduce Locations。

shursulei的博客 691

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

eclipse hadoop开发环境配置

eclipse hadoop win7下安装hadoop完成后,接下来就是eclipse hadoop开发环境配置了。具体的操作如下: 一、在eclipse下安装开发hadoop程序的插件 安装这个插件很简单,haoop-0.20.2自带一个eclipse的插件,在hadoop目录下的 contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar,把这个文件copy到eclipse的eclipse\plugins 目录下,然后启动eclipse就算完成

weixin_64351882的博客 687

配置本地eclipse,在eclipse中操作HDFS

本文主要讲了如何做到在本地eclipse操作HDFS 配置hadoop的插件,以便在eclipse中操作HDFS 在dropins中创建plugins 在plugins中加入hadoop-eclipse-plugin-2.6.0.jar 重启eclipse 打开show view,显示Map/Reduce Location视图 新建hdfs 配置hdfs Host为处于active的node...

qq_40891678的博客 840

Eclipse搭建Hadoop3.0.0开发环境

在配置之前可以参考https://blog.csdn.net/zhiyeegao/article/details/88087232 在Eclipse上安装Hadoop插件 1.下载hadoop-eclipse-plugin-2.7.3.jar,放到Eclipse的plugins目录下,重启Eclipse。 链接:https://pan.baidu.com/s/1ZHCoeaISnQkMlI3...

zhiyeegao的博客 1万+

hadoop2.6.0 - eclipse插件下载、编译、安装、配置

hadoop2.6.0 - eclipse插件下载、编译、安装 作者:易文俊 Email:yiwenjun@126.com 截止目前(2015-02-10)为止,hadoop最新版本为2.6.0,下面以hadoop2.6.0为例安装hadoop2.x的eclipse插件,hadoop2.x其它版本的eclipse插件类似 1、下载Hadoop2.6.0 eclipse插件源

Kevin的专栏 1万+

win7-eclipse-hadoop-plugins连接Linux hadoop3.0单机伪集群

hadoop3.0安装配置 linux下jdk的安装 说明一: 远程连接对本地hadoop版本、远程hadoop版本、eclipse版本都有严格的兼容性要求。建议本地和远程的hadoop使用相同且最新的版本,eclipse则从官网下载最新版本。我采用的版本如下: (1)本地和远程相同,hadoop版本:hadoop-3.0.0-alpha1 (2)eclipse版本:Vers

sum__mer的专栏 2426

ubuntu下的Eclipse配置Hadoop环境

安装JDK、Eclipse、hadoop见:ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式) 版本:Hadoop 2.7.1 1. 下载Hadoop-eclipse-plugins-2.6.0.jar 链接:https://pan.baidu.com/s/1htm5GJg77fq5LrobgdMYbw 提取码:gwiy 复制这段内容后打开百度网盘手机App,...

CS之路 1709

用hadoop-eclipse-plugins-2.6.0来配置hadoop-3.3.6

hadoop-eclipse-plugins这个插件是Eclipse中Hadoop的插件,但在寻找这个插件的过程中,突然发现插件的版本最好与hadoop的版本的一样。然后又试了试自己搭对应版本的hadoop-eclipse-plugins-3.3.6,一堆报错。,将hadoop-eclipse-plugins-2.6.0的插件放到plugins目录下,自己编译对应版本的hadoop-eclipse-plugins-插件,可查看。但我所能找到的最新版是3.3.1的,试了试,运行有问题,不能用。

m0_68319844的博客 2227
上一篇: 解决每次打开Word、Excel等都要重新配置安装的方法
下一篇: KFS 0.5发布说明
迷途小码
博客等级 码龄19年 71粉丝 95原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值