hadoop3.0集群配置

最新推荐文章于 2022-10-14 09:37:43 发布

Vincent丶s

最新推荐文章于 2022-10-14 09:37:43 发布

阅读量211

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop jdk zookeeper

本文链接：https://blog.youkuaiyun.com/weixin_40226524/article/details/79569950

大数据专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了一套Hadoop集群的搭建过程，包括三台机器的软件安装与配置，如JDK、Zookeeper及Hadoop等组件的安装，并展示了如何进行环境变量配置，以及各服务的启动方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现共3台机器机器情况和软件安装关系:

机器名	IP	安装软件	运行进程
nn1	192.168.0.240	jdk,zookeeper,hadoop,hive	Jps、QuorumPeerMain、DataNode、NameNode、NodeManager、ResourceManager
dn1	192.168.0.241	jdk,zookeeper,hadoop	Jps、QuorumPeerMain、DataNode、NodeManager、ResourceManager
dn2	192.168.0.242	jdk,zookeeper,hadoop	Jps、QuorumPeerMain、DataNode、NodeManager、ResourceManager

使用root用户修改 /etc/hosts文件:

[root@nn1 /]# vim /etc/hosts


192.168.0.240 nn1
192.168.0.241 dn1
192.168.0.242 dn2

安装jdk1.8.0和hadoop3.0.0并配置环境变量,可以配置全局的(修改/etc/profile)也可以配置当前用户的(修改~/.bashrc文件),我配置的是全局的环境变量

安装jdk

列出/etc/profile文件中添加的内容:

#set java path
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH
# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.0.0
export PATH=$PATH:$HADOOP_HOME/bin

安装zookeeper

zookeeper启动

zookerrper:
启动目录:
/usr/local/zookeeper/zookeeper-3.4.11/bin
启动命令:
./zkServer.sh start
查看状态:
./zkServer.sh status

hadoop启动

hadoop:
启动命令:
/usr/hadoop/hadoop-3.0.0/sbin/start-all.sh