伪分布式hadoop

liusqrt001

已于 2022-03-15 08:48:10 修改

阅读量366

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop 分布式 hdfs

于 2022-03-15 08:48:01 首次发布

本文链接：https://blog.youkuaiyun.com/qq_51474298/article/details/123493356

本文详细介绍了如何通过Xshell传输JDK和Hadoop到/opt目录，进行Java安装，配置环境变量，设置Hadoop运行环境，启动并测试Hadoop，包括伪分布式安装、密钥对生成、格式化namenode、启动DFS服务和防火墙设置。最后，通过浏览器访问Hadoop的管理界面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.ip addr

2.xshell xftp
传输 jdk+hadoop 传到 /opt

3.安装java

cd /opt
rpm -ivh /opt/jdk-7u67-linux-x64.rpm

4.解压hadoop
tar -zxf /opt/hadoop-2.6.5.tar.gz -C /usr/local/

5.修改环境变量->讓系統知道你裝了這個
vi /etc/profile
在文末添加

export HADOOP_HOME=/usr/local/hadoop-2.6.5/
export JAVA_HOME=/usr/java/jdk1.7.0_67
export JRE_HOME= $JAVA_HOME/jre export PATH=$ PATH: $JAVA_HOME/bin:$ JRE_HOME/bin: $HADOOP_HOME/bin; export CLASSPATH=.:$ JAVA_HOME/lib/dt.jar: $JAVA_HOME/lib/tool.jar$ JRE_HOME/lib

source /etc/profile 重新加载配置文件

cd $HADOOP_HOME 测试是否能够跳转，测试是否配置成功
cd $JAVA_HOME 测试是否能够跳转，测试是否配置成功

6.修改hadoop运行环境
cd $HADOOP_HOME/etc/hadoop vi hadoop-env.sh 找到 export JAVA_HOME=$ {JAVA_HOME}
改成->export JAVA_HOME=/usr/java/jdk1.7.0_67

7.启动单机版hadoop 测试计算pi
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 10 10

1.在单机版hadoop的前提下安装伪分布式hadoop
cd /usr/local/hadoop-2.6.5/ cd $HADOOP_HOME

2.vi etc/hadoop/core-site.xml

fs.defaultFS
hdfs://localhost:9000

vi etc/hadoop/hdfs-site.xml

dfs.replication
1

4.设置自己对自己免密登录->生成密钥
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

5.测试自己是否对自己免密登录
ssh localhost
logout退出

6.格式化namenode
hdfs namenode -format
如果格式化失败，在英文中会出现Exception Error Cause等字眼

7.启动hadoop 的dfs
sbin/start-dfs.sh

jps查看进程
NameNode
SecondaryNameNode
DataNode

8.关闭防火墙
systemctl stop firewalld.service
9.浏览器访问
192.168.xxx.xxx:50070

10.关闭集群
sbin/stop-dfs.sh