hadoop伪分布式环境搭建

最新推荐文章于 2022-05-28 13:15:06 发布

原创

最新推荐文章于 2022-05-28 13:15:06 发布 · 257 阅读

0 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在CentOS7环境下搭建Hadoop的伪分布式配置。首先，确保准备了CentOS7、JDK8、Hadoop2.6.0以及Hadoop Eclipse插件。接着，修改主机名，安装JDK，解压并安装Hadoop到指定目录。然后，配置SSH免登陆，并通过HDFS创建目录、保存文件。在运行WordCount示例时，可能会遇到JDK版本问题和winutils.exe缺失的问题，文中也提供了相应的解决方法。

准备Linux环境及软件

centos7.0

jdk-8u131-linux-x64.rpm

hadoop-2.6.0.tar.gz

hadoop-eclipse-plugin-2.6.0.jar

开始配置

1.1修改主机名
vim /etc/sysconfig/network

	NETWORKING=yes
	HOSTNAME=kawa01    ###


		
1.3修改主机名和IP的映射关系
	vim /etc/hosts
		
	192.168.8.118	kawa01

1.4关闭防火墙
	
	#关闭防火墙
	service iptables stop  #centos6.8
	systemctl stop firewalld.service #centos7.0
	

1.5重启Linux
	reboot

2.安装JDK
2.1上传

2.2解压jdk
	#创建文件夹
	mkdir /usr/java
	#安装jdk
	rpm -ivh jdk......
	
2.3将java添加到环境变量中
	vim /etc/profile
	#在文件最后添加
	export JAVA_HOME=/usr/java/jdk1.8.0_131
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	export PATH=$PATH:$JAVA_HOME/bin

	#刷新配置
	source /etc/profile

3.安装hadoop2.6
1. 安装hadoop<