eclipse与hadoop

最新推荐文章于 2023-03-03 16:32:01 发布
最新推荐文章于 2023-03-03 16:32:01 发布
阅读量771 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： eclipse hadoop 插件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangaichou/article/details/20244835
文章详细介绍了使用插件编译与应用的步骤，并分享了一个遇到失败登录问题的解决方法，包括检查插件包的lib目录和manifest文件。还指出在使用Eclipse时出现的端口配置错误，强调了正确配置Job Tracker端口号的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 插件的编译与应用

http://blog.youkuaiyun.com/xiangaichou/article/details/20244735

按照这篇文章做的。试了很多次没有成功，后面莫名其妙的就好了。起码证明这种方式没有错误，所以存下。另外看到一篇文章：

http://f.dataguru.cn/thread-167602-1-1.html



2. failure to login

a. 查看plugin包的lib


b. 查看plugin的manifest：

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar


3.eclipse --- Unknown protocol to job tracker: org.apache.had

mapreduce和jobtracker的端口号写错了，极有可能是写反了。。

Eclipse与Hadoop开发环境搭建
sincere_love的博客
06-13 561
首先，配置环境变量步骤如下： 我的电脑右键–》属性-----》高级系统设置------》环境变量 —》在系统变量中增加新建： 这就完事了一部分 下面打开eclipse 在打开之前打开eclipse文件所在位置----》 将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse的安装目录下的plugins 启动eclipse core-site.xml 配置文件：...
vmware下虚拟机自动换ip的解决办法
想~ai抽
03-07 1万+
最近学习hadoop的过程中，频繁出现vmware自动换vm的ip的问题，导致原来已经配好的SSH互信不能成功运行。 1. 首先在vmware中设定网段：Edit-》visual network editor -》NAT（一般是最后一个）-》左下方设置网段-》在DHCP setting中查看设置范围； 2. 查看当前机器的DNS地址； 3. 进入linux系统，修改为静态ip，并指定
Hadoop(MapReduce)入门 使用Eclipse开发
热门推荐
懒得打字
02-09 1万+
花了一天时间把Hadoop的入门弄好了，走了不少弯路，不过最后还是弄好了。主要环境是Ubuntu 16.04，Hadoop 2.7.3，Oracle JDK 7u80，Eclipse 3.8。最后用Eclipse在Ubuntu本地调试MapReduce程序
eclipse和hadoop连接攻略（详细）
m0_68421000的博客
03-03 1万+
超详细eclipse与hadoop链接，不踩雷，看了10篇+稿子的终极版
Eclipse连接Hadoop（HDFS）+创建MapReduce项目
actionbean的博客
09-29 6518
Eclipse连接Hadoop（HDFS）
基于Eclipse的hadoop开发环境配置过程中出现的问题及解决方案
weixin_53146913的博客
09-27 1696
网上并没有eclipse与Hadoop版本的对应关系，但是根据“低版本不能兼容高版本”这一事实，再联系到jdk1.7最多只能使用eclipse的Mars版本，可以作出推测，错误原因是eclipse版本太低，无法适配Hadoop2.7。其中前三个一般不会有大的问题，教程里都差不多。在重新安装jdk1.8的时候，可以更换优先级，但是这又涉及到Hadoop安装过程中jdk配置的相关问题，因此一些细节的地方可能被忽略，所以我这样做失败了。那么问题来了，事先已经找到了互相适配的版本，为什么还会发生版本不兼容的问题？
window中eclipse连接hadoop常见错误
南方的乖崽崽的博客
06-26 1027
1、打开eclipse时，没有发现hadoop map/reduce 没有安装对应的hadoop-eclipse-plugin 将下载好的jar包，移动到eclipse安装目录里的dropins中。即可 2、新建hadoop连接时的端口 没有人为指定时默认为9001，9000。也可以自行查看文件core-site.xml中设置fs.defaultFS选项 3、在eclipse中出现的错误: 在类 com.yyq.hdfs.HDFSDemo 中找不到 main 方法, 请将 main 方法定义为:
eclipse与Hadoop集群连接
u011926452的专栏
01-15 667
eclipse与Hadoop集群连接 2014年11月24日 ⁄ hadoop ⁄ 暂无评论 Eclipse的Hadoop插件 参考：http://blog.youkuaiyun.com/cybercode/article/details/7084603 http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html
eclipse配置hadoop
不会心跳的博客
11-16 1175
因此对应的插件为 hadoop-eclipse-plugin-2.7.7.jar ,放在 eclipse安装包下的plugins⽬录下，也可以直接放在dropins⽬录下（较为便捷）。 2）解压Hadoop安装包 在eclipse的Windows->Preferences的Hadoop Map/Reduce中设置对应的安装⽬录 3）打开Windows->Perspective->Open Perspective-> Other 中的Map/Reduce，在此perspective下
Eclipse配置Hadoop开发环境
sinat_35400668的博客
03-24 578
Eclipse配置Hadoop开发环境1. Windows 环境配置jdk的安装与配置1.1 下载hadoop1.2 配置环境变量1.3 查看命令2. Eclipse配置2.1 安装插件2.2 Eclipse配置 1. Windows 环境配置 jdk的安装与配置 略 1.1 下载hadoop http://archive.apache.org/dist/hadoop/core/ 选择版本下载，并解压（解压到没有中文的目录） 1.2 配置环境变量 HADOOP_HOME hadoop解压目录路径 HADO
linux上，eclipse连接hadoop
qq_42767647的博客
04-26 1448
1.准备好插件‘hadoop-eclipse-plugin-2.7.7.jar’（插件要与安装的hadoop版本相同，我的版本为2.7.7） 2.将插件放在eclipse目录的plugins文件夹下，而且权限为可读写，即图标没有X的符号即可。 完成第二步后，eclipse会出现DFS Locations： 3.点击window->Preferences 选择Map/Reduce，选择h...
Map-Reduce原理体系架构和工作机制，eclipse与Hadoop集群连接
01-09
为了能够在Eclipse IDE中开发和调试Map-Reduce程序，需要配置Eclipse与Hadoop集群之间的连接。 **1. 安装Hadoop插件** - Eclipse Marketplace中搜索并安装Hadoop插件。 - 配置插件以指向Hadoop安装目录。 **2. ...
eclipse安装Hadoop插件
01-12
### Eclipse安装Hadoop插件详解 #### 一、前言 随着大数据技术的快速发展，Hadoop作为处理海量数据的重要工具之一，其应用越来越广泛。为了更好地利用Eclipse进行Hadoop程序开发，安装Hadoop Eclipse插件是十分...
eclipse 与hadoop
最新发布
03-17
在这种情况下，可以手动将预编译的Hadoop-Eclipse插件JAR文件（如`hadoop-eclipse-plugin-2.7.7.jar`)复制到Eclipse安装路径中的`plugins`目录下[^2]。此操作完成后同样需要重启IDE。 #### 4. 版本兼容性注意事项 ...
Eclipse与Hadoop工具集成指南
2. 下载与你的Hadoop版本相对应的hadoop-eclipse-plugin，并安装到Eclipse中。可以通过Eclipse的Help > Install New Software...菜单来安装。 3. 下载适用于Windows的winutils.exe，并将其放置在Hadoop安装目录的...
官网HDFS Federation的理解与配置
想~ai抽
03-13 2597
HDFS Federation HDFS Federation Background Multiple Namenodes/Namespaces Key Benefits Federation Configuration Configuration: Formatting Namenodes Upgrading from older release to 0
hadoop中mapreduce的常用类
想~ai抽
03-09 2485
写这个文章的时候才意识到新旧API是同时存在于1.1.2的hadoop中的。以前还一直纳闷儿为什么有时候是jobClient提交任务，有时是Job...不管API是否更新，下面这些类也还是存在于API中的，经过自己跟踪源码，发现原理还是这些。只不过进行了重新组织，进行了一些封装，使得扩展性更好。所以还是把这些东西从记事本贴进来吧。 关于这些类的介绍以及使用，有的是在自己debug中看到的，多数为
eclipse远程调试Tomcat, Hadoop集群等
想~ai抽
03-02 2062
主导是JPDA(Java Platform Debugger Architecture), 它支持java中的各种调试，由两个接口(JVM Tool Interface和JDI)、一个协议(JDWP)和两个用于合并它们的软件组件（后端和前端）组成。参见http://www.ibm.com/developerworks/cn/opensource/os-eclipse-javadebug/ JDW
hadoop中的RPC, namenode和datanode通信原理
想~ai抽
03-09 2028
1. JobClient（题外话，自己翻译了一下JobClient的运行机制）: JobClient是用户提交的信息与JobTracker交互的主要接口。它提供的功能有：提交作业，跟踪作业进度，访问作业报告和进度，获取MR集群的状态等。 作业提交过程： a. 检查作业的输入输出是否合乎规范； b. 为作业计算出InputSplit（单个Mapper需要执行的部分）； c. 如有需要，为D
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值