个人备份：centOS7中进行hadoop 2.8.5的搭建以及个人遇到的问题归纳

最新推荐文章于 2020-09-07 20:14:53 发布

屈桑

最新推荐文章于 2020-09-07 20:14:53 发布

阅读量246

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop centOS

本文链接：https://blog.youkuaiyun.com/qq_38927057/article/details/88657419

大数据专栏收录该内容

1 篇文章

订阅专栏

https://blog.youkuaiyun.com/pucao_cug/article/details/71698903

本文采用陈南志大神的搭建方式，并归纳鄙人在搭建时遇到的问题。

创建虚拟机 centOS7，安装必要的组件，Infrastructure server，DNS NAME SERVER，Email server。hostname分别为hserver1 hserverN…甚至随意命名，在步骤2，3.3，3.6，3.8注意即可。
1.1 安装JDK，在centOS安装选项时时不要选则JDK，避免卸载步骤，在官网下载后安装；
1.2 关闭防火墙：
centOS7中关闭防火墙的命令：systemctl stop firewalld.service
centOS7永久关闭防火墙命令不生效，所以在/etc/selinux/config下修改，把SELINUX=enforcing改为SELINUX=disabled重启后生效
1.3 准备hadoop的binary，最近官网被墙，需要搭梯子，放在/opt/hadoop文件夹下（新建一个）
1.4 关机后克隆虚拟机节省操作时间，但hostname会被克隆，使用命令hostname ${你的hostname}更改
注意：centOS7的话在/etc/hostname中更改
配置SSH
2.1 修改/etc/hosts，在原有内容下添加：
192.168.119.131 hserver1
$ip 和你的 $hostname
2.2 为所有节点生成空字符串的秘钥ssh-keygen -t rsa -P ''
2.3 在所有节点上都生成一个名为‘authorized_keys’的文件，命令：touch /root/.ssh/authorized_keys
2.4 将所有节点的/root/.ssh/id_rsa.pub内容粘贴到authorized_keys中
2.5此时已完成ssh配置，可以通过ssh命令从任意一个节点访问另外的节点
安装hadoop，注意，以下配置是所有节点都需要执行，不然无法打开overview页面
3.1 解压：1. cd /opt/hadoop 2.tar -xvf hadoop-2.8.5.tar.gz
3.2新建目录：mkdir /root/hadoop mkdir /root/hadoop/tmpmkdir /root/hadoop/varmkdir /root/hadoop/dfs mkdir /root/hadoop/dfs/namemkdir /root/hadoop/dfs/date
3.3按https://blog.youkuaiyun.com/pucao_cug/article/details/71698903 开始配置
3.4 一些参数可参见：
https://blog.youkuaiyun.com/yangjl38/article/details/7583374 hadoop三个配置文件的参数含义说明
https://www.cnblogs.com/yinchengzhe/p/5142659.html Hadoop yarn配置参数
初始化hadoop
4.1 cd /opt/hadoop/hadoop-2.8.5/bin
./hadoop namenode -format
格式化成功后，会新建/root/hadoop/dfs/name/current，current下有一系列文件
若修改配置，则再次格式化即可
4.2 cd /opt/hadoop/hadoop-2.8.5/sbin ./start-all.sh
第一次执行的话会有两次问答，按提示进行即可
overview页面 http://namenode-ip:50070/
hadoop 页面 http://namenode-ip:8088/
搭建完成