关于hadoop-eclipse-1.0.4插件问题

http://www.dataguru.cn/forum.php?mod=viewthread&tid=40147

由于开始配置环境用的hadoop-1.0.4版本,所以悲催的是hadoop在这个版本里没有提供编译好的eclipse插件,只有相关的工程文件在:/hadoop-1.0.4/src/contrib/eclipse-plugins里。所以我们必须自己编译。编译过程中需要注意几个问题:
(1)相关jar包必须包含到lib文件里,这里lib必须自己建立.包括三个common的包和两个jackson的包。   commons-configuration-1.6.jar、commons-httpclient-3.0.1.jar、commons-lang-2.4.jar、jackson-core-asl-1.8.8.jar、jackson-mapper-asl-1.8.8.jar。
(2)修改META-INF文件,如果不修改,会无法连接到hadoop集群。将classpath修改为:
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar(3)修改build-contrib.xml:从src/contrib/文件夹下将该文件拷贝到eclipse-plugin文件夹下,在工程中找到该文件,修改hadoop的location,添加eclipse安装目录、hadoop的版本。

<property name="hadoop.root" location="/home/hadoop/hadoop-1.0.4"/>//这里我用的是集群中的安装目录。

<property name="eclipse.home" location="D:/eclipse"/>//当前eclipse的安装目录,和集群环境无关。
<property name="version" value="1.0.4"/>


(4)修改build。xml:找到<import file="../build-contrib.xml"/>,改为<import file="build-contrib.xml"/>。添加hadoop-core的jar包,找到<path id="classpath">,在下面添加 <pathelement location="${hadoop.root}/hadoop-core-1.0.4.jar"/>



然后利用ant进行编译获取插件jar包即可使用。如果再使用过程中出现问题,肯定是配置的问题

 

 

 

有几个地方不太对主要是build文件 根据报错信息改一下就没事了

 

 

往eclipse安插件放到eclipse\plugins文件夹下就行

MyEclipse放到MyEclipse\MyEclipse 9\dropins下

然后启动

 

Eclipse下配置使用Hadoop插件 一、环境配置 1、Eclipse 版本 3.3.X 2、Hadoop版本 0.20.2 二、配置流程 1、将/hadoop-0.20.2/hadoop-0.20.2/contrib/eclipse-plugin/下的hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse-SDK-3.3.2-win32/eclipse/plugins/下。 2、启动eclipse,点击Window->Show View->Other,点击MapReudce Tools->Map/Red 阅读详情

相关推荐

字节跳动扣子AI应用开发平台之实战

推出背景:扣子平台由字节跳动推出,旨在让非开发者也能快速创建、调试和优化聊天机器人。上线时间:扣子平台于2024年2月1日正式上线。功能定位:扣子是一个AI聊天机器人和应用程序编辑开发平台,可以理解为字节跳动版的GPTs。

恩爸编程 5894

在cygwin上用ant编译hadoop的eclipse插件

1.参考了http://bigboy.iteye.com/blog/1766382,和其不同的地方为: <!-- --> 2.最后在%hdoop_root%src\contrib\eclipse-plugin下ant jar报错:软件包org.apache.hadoop.fs 不存在 参考http://blog.csdn.ne

wenlong237的专栏 1262

告别Python依赖!用C++编译PaddleOCR打造轻量级本地OCR工具(附模型选择与性能对比)

本文详细介绍了如何将PaddleOCR从Python迁移到C++平台,打造高性能、低资源占用的本地OCR工具。通过对比Python和C++实现的性能差异,展示了C++在冷启动时间、内存占用和部署便捷性上的显著优势。文章还提供了模型选择、编译配置和优化技巧等实用指南,帮助开发者轻松构建轻量级OCR解决方案。

weixin_28717467的博客 256

Hadoop1.0.4 连接假象,ant自己编译

1.纠结一下午时间。自己编译了hadoop1.0.4 的eclips插件 eclipse版本4.2.2. 2.eclipse安装好自己编译的插件后,连接配置的hadoop。结果Map/Reduce Location 下面的列表无反应,什么都没有,貌似连不上但是又不报通信异常或者拒绝访问之类错误 实际上已经连上了。闲话少说,下面说下过程 首先编译整个插件 linux下面打开eclip

bingdongguke的专栏 1168

别再手动巡检了!用Zabbix 5.0 + SNMPv2自动监控华为S系列交换机(附完整命令集)

本文详细介绍了如何利用Zabbix 5.0与SNMPv2实现华为S系列交换机的自动化监控,告别低效的手动巡检。通过配置SNMPv2c安全基线、核心功能启用及Zabbix Server端深度配置,构建7×24小时监控体系,实时预警接口状态、流量波动等关键指标,大幅提升运维效率与故障响应速度。

weixin_30940783的博客 628

MMCV安装后报错‘from mmcv import Config’?别慌,这是MMCV 2.0的锅!快速降级回退MMCV 1.x全指南

本文详细解析了MMCV 2.0版本升级导致的‘from mmcv import Config’报错问题,提供了从诊断到降级回退MMCV 1.x的完整解决方案。通过pip和OpenMIM工具链的实操指南,帮助开发者快速解决版本冲突,确保项目稳定运行。

weixin_29102619的博客 263

Hadoop2.4.0 Eclipse插件制作

跌跌撞撞两天装Hadoop2.4.0的环境,今天终于可以尝试写点程序了,想了一想,不得其法,但有一点是肯定的,那就是需要用eclipse,查了一上午的资料,怎么讲的都有,最后锁定了这个帖子,hadoop2x-eclipse-plugin。想用Github下载,但是最后下载失败,页面右侧有个Download ZIP,用这个下载成功。下边来说说我的整个制作过程吧: 想导入到eclipse中制作,

沉底的石头 4059

微信小程序 - 真机调试调用接口报错{errno: 600001, errMsg: “request:fail -102:net::ERR_CONNECTION_REFUSED},真机运行测试请求异常

微信小程序,真机,调试测试,运行报错,API接口,服务器接口都报错了,小程序报错errno: 600001,小程序报错request:fail -102:net::ERR_CONNECTION_REFUSED,真实手机打开接口全都失效了,微信小程序真机测试失败,微信小程序{errno: 600001, errMsg: "request:fail -102:net::ERR_CONNECTION_REFUSED"},详细解决方法,https,服务器SSL证书,无法解决,服务器更换SSL证书,接口地址改了也不行

🏆 前端领域优质创作者 1万+

Eclipse配置hadoop

用Eclipse可以提高Map Reduce的编写和调试效率。

aganzhengzhu的专栏 550

【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

​ 1、背景: 在我们使用FlinkCDC采集mysql数据的时候,日期类型是我们很常见的类型,但是FlinkCDC读取出来会和数据库的日期时间不一致,情况如下 FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18,而数据库中原始数据如下,并没有到下午5点,这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况,与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不

一杯咖啡半杯糖的博客 3854

国产上位机软件突围:适配统信UOS/麒麟OS的跨平台开发技术与实践(2026年信创实战指南)

(航天科技集团CTO):“在信创战场上,1ms的延迟意味着1个卫星的控制失效。2026年,C#/.NET MAUI不是选择,而是我们守护卫星的‘生命线’。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 404

抖音无水印视频爬虫实战:从抓包分析到批量下载指定用户作品

抖音作为当前最受欢迎的短视频平台,拥有海量的优质内容。很多用户希望备份自己或他人的作品,但抖音官方并未提供批量下载功能,且直接下载的视频带有平台水印。本文将带领大家从零开始,通过抓包分析、设备模拟、请求签名等核心技术,实现一个完整的抖音无水印视频爬虫系统。本文仅供技术学习和个人备份使用,请勿将爬取的内容用于商业用途或侵犯他人版权,爬取频率请控制合理范围内。目录一、前言二、技术栈概览三、准备工作3.1 环境搭建3.2 抓包分析步骤3.3 关键API发现四、核心技术解密4.1 X-Gorgon签名算法。

2201_76125261的博客 844

eclipse 连接hadoop

由于我用的hadoop是1.0.4,网上大部分教程都是0.2.0的,有一些地方不能借鉴。   eclipse的hadoop的插件可以从网上下载,或者自己从下载的hadoop包里边编译而来(具体方法搜下即可)。 拿到插件后放到eclipse安装目录下的plugins目录下即可。然后重启eclipse。   用eclipse建立 DFS Locations后,发现不能连接到HDFS。 仔细...

天龙的博客 196

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

hadoop1.0.4 eclipse插件编译

转载自:http://blog.csdn.net/weijonathan/article/details/8282661 一、所需工具      eclipse-java-juno-SR1-win32.zip      jdk-6u37-linux-x64.bin      apache-ant-1.8.4-bin.zip      hadoop-1.0.4 二、Ant安装

小透明-溶冰 1053

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Eclipse安装Hadoop插件

本人需要用到Eclipse安装Hadoop插件,但是对于一个从没用过的Eclipse的我来说也是找了很多东西,下面我就介绍一下怎么安装。 JDK安装配置   如果还没有安装Eclipse的朋友们需要先安装并配置好JDK,再下载安装Eclipse,这些我相信大家走到这一步的时候肯定都会了,就不赘述了。接下来,进入Hadoop环境搭建。 2.Hadoop插件安装和配置   在Eclipse配置...

zerokissingthefire的博客 3405

[Hadoop] 创建Hadoop Eclipse插件

需要下载以下安装文件: jdk-6u30-windows-i586.exe apache-ant-1.9.1-bin.zip eclipse-jee-indigo-SR2-win32.zip hadoop-1.0.4.tar.gz 1、安装jdk配置JAVA_HOME,并将%JAVA_HOME%\bin添加到Path变量 2、解压apache-ant-1.9.1-bin.zip至某

Zhu_Julian's Notes (朱显杰的技术博客) 3303

hadoop1.2.1下编译及安装eclipse4.2插件

转载请注明出处:http://hanlaiming.freetzi.com/?p=115 hadoop1.2.1环境安装完成后,准备着手开发Mapreduce程序,但是总在文本里编辑java代码肯定不是回事,所以开始安装eclipse插件。 我在安装前参考了这篇博文http://blog.csdn.net/summerdg/article/details/12874841,在此谢谢博主

summerhai 1176

如何在eclipse中配置hadoop插件

如何在eclipse中配置hadoop插件

m0_73533108的博客 3208

Hadoop II Windows下安装hadoop2.6.0-eclipse-plugin插件

相关环境: 虚拟机:VMWare(64位) Linux版本:centOS6.5 64位 Windows版本:win10 64位 Hadoop版本:2.6.0 Eclipse版本:Juno Service Release 2(64位) Windows中JDK版本:1.7.0_13(64位) Linux中JDK版本:1.7.0_71(64位) 参考网页: Windows下

百木森森的专栏 3089

eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序

一、删除hadoop插件(如果你已经装一个hadoop版本相应的插件) 1、到eclipse安装目录下的\plugins文件夹中刷出 hadoop的插件 2、删除到eclipse安装目录下的\configuration\org.eclipse.update文件夹 3、启动eclipse 4、如果左上角有map/reduce图标,点击---> close 5、关闭eclipse,删除到ec

wfp458113181wfp的专栏 3217

hadoop 0.20.2在eclipse开发的插件问题

我使用的是eclipse 3.7,开始使用的插件是hadoop-0.20.2文件夹下/contrib下的eclipse插件hadoop-0.20.2-eclipse-plugin.jar,配置完eclipse后,出现了run on hadoop没反应,后来看了网上一篇文章: http://hi.baidu.com/laxinicer/blog/item/fbaddaf58bdae63fbc310

cwchenwu88的专栏 3577

在eclipse上安装hadoop2.2.0插件

1、安装环境系统:centos6.5 hadoop2.2.0 eclipse:mars.1Release(4.5.1)2、插件的安装下载hadoop2.2.0的eclipse插件,解压之后放到eclipse的plugin目录下,重启eclipse。3、配置hadoop installation directory如果安装插件成功,打开Window–>Preferens,你会发现Hadoop Ma

lqf的专栏 2240

Eclipse 安装Hadoop 插件

基础环境资源: eclipse 版本:Mars.2 Release (4.5.2) Hadoop 版本:Hadoop3.0.0 eclipse-hadoop-plugin 插件版本:hadoop-eclipse-plugin-2.6.0.jar Hadoop 环境:单机伪集群(本机地址:192.168.1.74) 第一步:修改Hadoop相关配置文件:core-site.xml 、 hd...

zhouzhiwengang的专栏 1092
上一篇: vi的一些知识
下一篇: hadoop 出现SafeModeException
java_doom
博客等级 码龄20年 6粉丝 199原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值