伪分布式搭建步骤

最新推荐文章于 2025-09-20 16:11:54 发布

原创最新推荐文章于 2025-09-20 16:11:54 发布 · 568 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了一台服务器上搭建伪分布式Hadoop环境的步骤，包括解压安装、配置JDK环境变量、设置免秘钥登录、修改核心配置文件及环境变量等关键操作，最后指导如何格式化NameNode并启动HDFS。

伪分布式，只需要一台服务器，其上有NN和DN

1.首先进行hadoop的安装解压压缩包放在/usr/local/src/
[root@localhost ~]# cd /usr/local/src/
[root@localhost /usr/local/src]# tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /usr/local/
2.进入hadoop目录：
[root@localhost /usr/local/src]# cd /usr/local/hadoop-2.6.0-cdh5.7.0/
3.配置hadoop的jdk变量
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0]# cd etc/
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc]# cd hadoop
[root@localhost /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8/ # 根据你的环境变量进行修改
4.配置免秘钥
① ssh-keygen -t rsa
② ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01（node01的公钥给本身）
5.修改配置文件
5.1修改hdfs-site.xml

dfs.replication
1

dfs.namenode.secondary.http-address node01:50090 5.2修改core-site.xml property> fs.defaultFS hdfs://node01:9000 hadoop.tmp.dir /var/abc/hadoop/local 5.3修改slaves 修改为node01（NN的名字） 5.4hadoop的环境变量 vim ~/.bashrc

一、格式化NameNode(创建目录以及文件) hdfs namenode -format
二、(1) 启动HDFS start-dfs.sh 关闭命令（start-dfs.sh）

7.在linux中要关闭防火墙：
永久关闭：chkconfig iptables off（解决在网页中打不开的问题）