Hadoop集群搭建个人规范

最新推荐文章于 2023-03-05 13:38:05 发布

原创最新推荐文章于 2023-03-05 13:38:05 发布 · 669 阅读

0 ·

CC 4.0 BY-SA版权

欢迎转载，注明作者和出处就好！如果有任何问题或文章存在明显的谬误，请留言说明原因谢谢，我也可以知道原因，不断进步！

文章标签：

#hadoop cluster #hadoop

【大数据】➣ Hadoop 专栏收录该内容

30 篇文章

订阅专栏

本文档详细介绍了如何搭建一个多节点Hadoop集群，包括所需的所有配置文件和自动化传输脚本，以及从零开始的安装步骤。还提供了启动和关闭集群的具体操作流程。

从头至尾Hadoop多台主机集群搭建帮助文档资源【链接：https://pan.baidu.com/s/1mjJPq2k 密码：9ukr】

补充事项：
○ CentOS6.6 镜像文件下载
地址：http://vault.centos.org/6.6/isos/x86_64/

○ 集群部署概况：

机器	IP地址	部署应用
hadoop1	192.168.1.111	Active NN
hadoop2	192.168.1.112	standby NN 、 DataNode 、JournalNode
hadoop3	192.168.1.113	DataNode 、 JournalNode
hadoop4	192.168.1.114	DataNode 、 JournalNode

○ 配置文件
链接：https://pan.baidu.com/s/1nxeLXaT 密码：nl20

○ 自动化传输脚本

custom-shell
├── custom-shell/rsync_hadoop_file.sh
└── custom-shell/slaves-conf

#!/bin/sh

# filename：rsync_hadoop_file.sh 
# 传入参数是需要跨机器传输的文件或文件夹路径
# (注意：文件路径中的除最后的文件外，其他文件路径名需在对方机器中存在)

base_dir=~/hadoop
slaves_file=$base_dir/custom-shell/slaves-conf

hadoop_file=$1
if [ ! -f $slaves_file ]; then
  echo $slaves_file"文件不存在。"
  exit 0
fi
if [ ! -s $slaves_file ]; then
  echo $slaves_file"文件内容不能为空。"
  exit 0
fi
if [ -z $hadoop_file ]; then
  echo "请指定完整路径 包括文件名"
  exit 0
fi

localhost=`hostname`
for host in `cat $slaves_file`; do
  if [ $localhost != $host ]; then
    rsync -a $hadoop_file $host:$hadoop_file
    echo "文件已拷贝到“$host”机器上。"
  fi
done
echo "执行完毕！"

slaves-conf

hadoop1
hadoop2
hadoop3
hadoop4

○ 初始化启动Hadoop集群

注意：所有操作均在Hadoop部署目录下进行。

启动Hadoop集群：
Step1 :
在各个JournalNode节点上，输入以下命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode

Step2:
在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

Step3:
在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby

Step4:
启动[nn2]：
sbin/hadoop-daemon.sh start namenode

经过以上四步操作，nn1和nn2均处理standby状态
Step5:
将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1

Step6:
在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode

Step7:
在[nn1]上，启动yarn
sbin/start-yarn.sh

○ 启动和关闭集群的一般操作

启动Hadoop集群：
Step1:
在[nn1]上，启动hdfs：
sbin/start-dfs.sh
根据已有配置，自动启动各节点journalnode、NameNode、DataNode

Step2:
在[nn1]上，启动yarn：
sbin/start-yarn.sh
根据已有配置，自动启动各节点ResourceManager、NodeManager

关闭Hadoop集群：
Step1:
在[nn1]上，关闭hdfs
sbin/stop-dfs.sh

Step2:
在[nn1]上，关闭yarn
sbin/stop-yarn.sh