Windows下的eclipse远程连接Ubuntu下的Hadoop2.6.5

最新推荐文章于 2020-09-12 22:42:15 发布

Dani Huang

最新推荐文章于 2020-09-12 22:42:15 发布

阅读量698

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/qq_40434153/article/details/89397580

本文详细介绍了在Ubuntu系统中配置Hadoop的过程，包括核心配置文件的修改、服务重启步骤，以及如何在Eclipse中集成Hadoop进行MapReduce项目开发。涉及IP地址配置、环境变量设置、插件安装等关键环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要安装配置文件的自取
链接：https://pan.baidu.com/s/1QYwfrxMyOgjnjTWVKqDIrw
提取码：rbyo

Ubuntu中Hadoop配置文件修改
1.用ifconfig查看虚拟机中IP
在这里插入图片描述
记住此IP地址
2.将core-site.xml的地址换为虚机的IP地址
hdfs://(IP地址):9000
3.重新启动服务
sbin/start-dfs.sh
sbin/start-yarn.sh

eclipse相关环境配置
1.下载对应的Hadoop插件包即“hadoop-eclipse-plugin-2.6.5.jar”，将其拷贝到eclipse的plugins目录下，重启eclipse,在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了。

注意：hadoop的插件版本需要和安装的Hadoop一致
在这里插入图片描述
2.启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Location，填入以下值（请根据自己的情况填入）

此处填写的IP即HOST地址就是虚机里的IP
3.测试上传文件到HDFS
bin/hadoop fs -mkdir /data
bin/hadoop fs -put README.txt /data
在这里插入图片描述
4.创建MapReduce项目
新建一个MR项目，选择项目创建向导中的“MapReduce project.”，输入相关的信息，只要插件安装成功，Eclipse会自动维护项目的Build Path

需要配置WINDOWS环境下的hadoop运行环境

5.测试mapreduce程序
新建一个mapreduce项目，将hadoop的examples下的org文件夹拖到项目的src下（以WordCount.java）为例
在这里插入图片描述

配置相应的输入文件和输出文件夹

5.运行出现的问题及解决方案
在这里插入图片描述
将日志文件放入src文件夹下
内容：

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

在这里插入图片描述
在网上下载hadoop.dll和winutils.exe，将其复制到hadoop-2.6.5/bin目录下，同时hadoop.dll复制到C:/Windows/System32下。
设置环境变量
用户变量设置：HADOOP_HOME ，路径是hadoop所在的文件夹（我的是D:\Hadoop\hadoop-2.6.5）
系统变量：系统变量path里增加$HADOOP_HOME\bin
6.运行程序结果
在这里插入图片描述