hadoop的eclipse插件编译

最新推荐文章于 2021-05-05 09:17:51 发布
原创 最新推荐文章于 2021-05-05 09:17:51 发布 · 565 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何为Eclipse构建Hadoop插件，包括安装Java、Ant、Maven等环境，修改配置文件以适配Eclipse环境，以及具体的编译步骤。
1.构建基本编译环境
首先需要安装java，ant,maven环境，并配置环境变量，具体安装方式不再详解。
2.修改配置
这里以cdh3u5的hadoop版本为例，eclipse使用SDK-4.2。
进入$HADOOP_HOME\src\contrib\目录下

  编辑build-contrib.xml

  加入

 

   //设置你的eclipse的家目录

3.编译

首先进入hadoop的家目录，执行ant编译hadoop

成功后，进入$Hadoop_HOME\src\contrib\目录下，执行ant

成功后再$HADOOP_HOME\build\contrib\eclipse-plugin下就会生成hadoop-eclipse-plugin-0.20.2-cdh3u5.jar文件。



hadoop2.7.7 Eclipse 插件，自己编译，使用有效
03-04
hadoop版本2.7.7 Eclipse 版本4.5.1，dfs location插件，自己编译成功，使用有效，将该jar包放到eclipse的plugins目录下
编译hadoop eclipse插件文档
03-15
【编译Hadoop Eclipse插件】是开发Hadoop应用程序的重要步骤，它允许开发者在Eclipse环境中直接编写、调试和管理Hadoop项目。本教程将详细解释如何编译和安装Hadoop Eclipse插件。 首先，确保你已经安装了**Java 8*...
Hadoop eclipse插件编译安装问题及解决方案
zlx0615的专栏
11-06 671
在安装hadoop eclipse插件的时候，一般都是直接将HADOOP_HOME/lib中的 hadoop-eclipse-plugin-{version}.jar 复制到eclipse安装目录下的plugins目录中。但Hadoop-1.0.0生成的jar包不能直接使用，如果直接复制到eclipse的插件目录中，在连接DFS时会出现错误，提示信息为： "error: failure to
Hadoop eclipse插件编译与配置
Old Fashioned Guy
10-03 642
1.编译首先说明，这里所用的hadoop版本为1.0.0。 hadoop的eclipse插件通过编译/src/contrib/eclipse-plugin目录下的代码得到，但是直接编译得到的jar包因为缺少一些依赖库而不能直接使用，因此首先要进行一些修改然后再编译。 首先修改build.xml， 在<path id="classpath">标签内加入下面一行：<fileset dir="${h
Hadoop eclipse插件编译过程
xxfengxia的博客
10-31 269
开题：创业1年，以失败告终，被收购了（ 8) 不能说完全失败，但作为原始股东的我最终没分到一分钱。。可悲）。呵呵，回到正题，还是喜欢一个人研究各种技术，望有天可以真正的将一身所学用于实践。 到现在才学习Hadoop可能已经过时了，最近网上有很多人说学大数据应该学习spark了。本人也本着赶潮流的思维百度了一把，发现spark其实就是增强版的Hadoop。。。 :o ，好吧，那就还是安安心...
Hadoop Eclipse 插件编译安装
mallven.com
04-16 228
最近开始学习Hadoop，hadoop 的新版本为了能和各个eclipse 的版本兼容，因此只提供了源代码，开发人员需要手动编译。 hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。 如果只想单独编译hadoop 的ecliose 插件那么需要修改该目录下面的build.xml 文件 下面是我的一个配置文件，大...
ubantu14 Hadoop Eclipse 插件编译安装
zds05的专栏
11-01 402
ant jar -Declipse.home=/opt/software/adt-bundle-linux-x86_64-20131030/eclipse/ -Dhadoop.home=/usr/local/hadoop/ -Dversion=2.8.1 eclipse.home eclipse 执行文件目录 hadoop.home hadoop 目录 githup 上下载Hadoop
linux中sts中添加hadoop,Linux下Hadoop Eclipse插件编译安装
weixin_29024675的博客
05-05 247
刚刚开始研究Hadoop，在写Map Reduce程序的时候觉得用vim不够用，于是想在Eclipse下面配置一下相关的环境。按照Hadoop in Action的说法，本来想用Hadoop Studio，但是发现现在只有30天的试用版，于是找了一下，发现Hadoop本身有带Eclipse的插件，于是觉得可以用一下。 不过又发现Hadoop的Eclipse插件现在没有二进制版直接提供，只能自己编译...
Hadoop Eclipse插件编译
yangyan19870319的专栏
11-22 1251
hadoop版本：hadoop-0.20.2-cdh3u6 eclipse版本：eclipse indigo 3.7.0 网上步骤基本相同，但个人可能关注的重点不同，罗列下也为自己以后作为积累 1.添加工程 在Eclipse中Import导入已有的工程目录：hadoop-0.20.2-cdh3u6\src\contrib\eclipse-plugin\ 2.添加build
Hadoop Eclipse 插件编译安装1.2.0
水末水陌伤的专栏
07-16 1018
hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。  如果只想单独编译hadoop 的eclipse 插件那么需要修改该目录下面的build.xml 文件
Linux下Hadoop Eclipse插件编译安装
weixin_30938149的博客
05-06 159
Linux下Hadoop Eclipse插件编译安装 刚刚开始研究Hadoop，在写Map Reduce程序的时候觉得用vim不够用，于是想在Eclipse下面配置一下相关的环境。按照Hadoop in Action的说法，本来想用Hadoop Studio，但是发现现在只有30天的试用版，于是找了一下，发现Hadoop本身有带Eclipse的插件，于是觉得可以用一下。 不过又发现Hadoop的...
Hadoop-Eclipse插件编译
robinjun的专栏
10-09 694
Hadoop-Eclipse插件编译 1.下载hadoop 1.2.1 （http://hadoop.apache.org/releases.html#Download），解压在自定义的一个目录中（最好全英文路径，试过中文路径除了问题）。 2.Eclipse导入..\hadoop-1.2.1\src\contrib\eclipse-plugin项目，默认项目是MapReduceTo
eclipse的hadoop2.7插件以及hadoop-common编译文件
01-27
本文将详细介绍如何使用Eclipse的Hadoop2.7插件以及Hadoop-common编译文件，以便在Windows环境下构建一个集成了Hadoop和Spark的开发环境。 首先，我们要理解`hadoop-eclipse-plugin-2.7.jar`这个文件的作用。这是...
Hadoop Eclipse插件编译配置指南
标题中提到的“Hadoop编译修改配置文件”，说明在使用Hadoop Eclipse插件时，可能需要对某些配置文件进行修改。通常，这类配置文件用于指定Hadoop环境中的关键路径，比如Eclipse工作环境的路径和Hadoop安装路径。...
HADOOP_CLASSPATH设置
热门推荐
nuoline的专栏
02-25 2万+
在写hadoop程序编译时，往往需要HADOOP_CLASSPATH路径，可通过以下方式进行在编译脚本中设置： for f in $HADOOP_HOME/hadoop-*.jar; do CLASSPATH=${CLASSPATH}:$f done for f in $HADOOP_HOME/lib/*.jar; do CLASSPATH=${CLASSPATH}:$f done for f
hive之脚本执行
nuoline的专栏
02-25 7535
Hive是基于Hadoop的数据仓库，可以将结构化的数据文件hive映射为一张数据库表，并提供几乎完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。     Hive目前还不支持像Mysql那样的sql脚本，如果遇到需要批量处理HQL就相对麻烦，但是可以使用比较笨的shell脚本执行批量HQL命令，原理很简单，在shell脚本中用echo命令将HQL命令以字符串的形式导
hbase连接java(转载)
nuoline的专栏
02-25 7055
1、需要的jar包： commons-codec-1.4.jar commons-logging-1.0.4.jar hadoop-0.20.2-core.jar hbase-0.20.6.jar log4j-1.2.15.jar zookeeper-3.2.2.jar   2、已有表结构： 1、表名：scores 2、列族： course:art course:math
hbase的预分配region
nuoline的专栏
02-25 6276
在create一个表时如果不指定预分配region，则默认会先分配一个region，这样在大数据并行载入时性能比较低，因为所有的数据都往一个region灌入，容易引起单节点负载升高，从而影响入库性能，一个好的方法时在建立表时预先分配数个region。方法有两种，主要针对不同版本可供选择。 1.使用RegionSplitter方法，主要针对hbase-0.90.X版本 a.首先使用RegionSp
hadoop输入和输出格式
nuoline的专栏
02-25 4787
1. TextInputformat        TextInputformat是默认的inputformat，对于输入文件，文件中每一行作为一个记录，他将每一行在文件中的起始偏移量作为key，每一行的内容作为value。为什么不用行数作为key呢？        注意split中只是保存了split在文件中的位置，map操作读取数据的时候还是会到HDFS中打开原始文件，然后定位到split所需
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值