Hadoop平台组件部署

Hadoop平台组件部署

目录

1. 引言 5
   1.1. 目的 5
   1.2. 术语与缩写解释 6
   1.3. 参考资料 6
2. 系统配置 6
   2.1. 运行环境 6
   2.2. 硬件配置 7
   2.3. 硬件安排 7
   2.4. 配置架构图 7
   2.5. 平台组件介质 7
   2.6. 第三方依赖包 8
3. 组件部署 8
   3.1. 部署说明 8
   3.2. 部署要点 8
   3.3. 环境配置 8
   3.3.1. 主机免密登陆配置 8
   3.3.2. 主机名配置 9
   3.3.3. HOSTS配置 10
   3.3.4. 关闭防火墙 10
   3.3.5. NTP时钟源配置 10
   3.3.6. 时间同步配置 11
   3.3.7. 关闭selinux 11
   3.3.8. 关闭THP特性 11
   3.3.9. ulimit配置 12
   3.3.10. yum源配置 13
   3.4. JDK部署 15
   3.4.1. JDK安装介质说明 15
   3.4.2. JDK配置文件说明 15
   3.4.3. JDK部署步骤 15
   3.5. Kerberos部署 16
   3.5.1. 服务端、客户端安装 16
   3.5.2. 配置文件修改 17
   3.5.3. 创建Kerberos数据库 20
   3.5.4. 创建超级管理用户root及kadm5.keytab文件 21
   3.5.5. 新增配置：kadm5.acl 22
   3.5.6. 主备配置 23
   3.6. ambari部署 25
   3.6.1. 安装ambari服务端 25
   3.6.2. 安装ambari客户端 26
   3.6.3. ambari-agent配置 27
   3.6.4. ambari-server设置 27
   3.6.5. ambari-server启动 28
   3.6.6. ambari-agent启动 28
   3.7. hadoop部署 29
   3.7.1. 安装前检查 29
   3.7.2. Hadoop部署步骤 30
   3.7.3. 启用NameNode高可用 40
   3.7.4. 启用ResourceManager高可用 48
   3.7.5. 启用Kerberos 49
4. 组件操作 53
   4.1. 组件部署清单 53
   4.2. 组件优化 53
   4.3. 组件启动 53
   4.4. 组件停止 55
5. 部署问题 57

1.引言

1.1.目的
我们所说的大数据就是数据量的庞大，数据的种类繁杂多样化，数据的飞快的变化，数据的真假存疑，Hadoop正好可以处理这方面的数据。
1.2.术语与缩写解释
缩写、术语 解 释
HDFS Hadoop分布式文件系统(Hadoop Distributed File System )，分布式文件系统，提供了高吞吐量的数据访问。
MapReduce 基于YARN的大数据集的并行处理系统。
YARN Hadoop集群资源管理框架(Yet Another Resource Negotiator)，用于作业调度和集群资源管理。
HBase 可扩展的分布式列式数据库，支持大表的结构化存储。
ZooKeeper 提供Hadoop集群高性能的分布式的协调服务。
Kerberos 一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。
1.3.参考资料

2.系统配置

2.1.运行环境
推荐使用64位Centos7.4操作系统，开启超线程，关闭swap。
超线程需要CPU支持，在bios中设置。
关闭swap命令：swap off，永久关闭需要在/etc/fstab注释掉swap那一行。
2.2.硬件配置
类型 cpu 内存 硬盘 IP
虚拟机 1 core 8G 100G 192.168.170.100
虚拟机 1 core 8G 100G 192.168.170.101
虚拟机 1 core 8G 100G 192.168.170.102
2.3.硬件安排

2.4.配置架构图

2.5.平台组件介质
序号 软件名称 安装包名称== （包我就不分享了 你们可以自行换包 换版本 ） ==
1 Ambari ambari-2.5.0.3-centos7.tar.gz
2 HDP HDP-2.5.3.0-centos7-rpm.tar.gz
3 HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz
4 JDK jdk-8u91-linux-x64.tar.gz
2.6.第三方依赖包
序号 软件名称 操作命令
1 snappy-devel-1.1.0-3.el7.x86_64.rpm、libtirpc-devel-0.2.4-0.10.el7.x86_64.rpm(ambari2.5需要安装libtirpc-devel) rpm -ivh 包名

3.组件部署

3.1.部署说明
主要部署的组件包括HDFS、MapReduce、YARN、HBase、ZooKeeper

3.2.部署要点
不准使用lvm逻辑卷管理，系统盘单独挂载，/tmp,/home,/var等目录不单独挂载空间；每块硬盘挂载到单独目录下(/data1,/data2,…/datan)，文件系统采用xfs

3.3.环境配置
3.3.1.主机免密登陆配置
root 用户 默认路径下执行如下命令：
ssh-keygen -t rsa -P ‘’ # 生成秘钥文件 （提示后直接回车）

设置权限

chmod 700 .ssh
cd .ssh
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
chmod 600 authorized_keys
authorized_keys文件拷贝到各个主机

scp /root/.ssh/authorized_keys xxx.xxx.xx.xxx:/root/.ssh/.(如果没有该目录，则需要手动创建)
各主机执行命令：hostnamectl --static set-hostname 主机名（无需重启，注销重新登陆即可生效）
scp authorized_keys root@192.168.220.132:/root/.ssh/.

注：主机名需要按照集团规范命令
3.3.2.HOSTS配置
所有主机/etc/hosts均需要添加
3.3.3.关闭防火墙
所有主机执行命令：

192.168.220.130   hadoop1.dcs.com    hadoop1
192.168.220.131  hadoop2.dcs.com     hadoop2
192.168.220.132  hadoop3.dcs.com     hadoop3
systemctl disable NetworkManager
systemctl stop NetworkManager
systemctl disable firewalld
systemctl stop firewalld

3.3.4.NTP时钟源配置
如已有NTP时钟源可忽略此步骤
挑选一台主机安装ntp服务：rpm -ivh ntp-4.2.6p5-22.el7.centos.x86_64.rpm
vi /etc/ntp.conf
追加内容如下
restrict 0.0.0.0 mask 0.0.0.0 nomodify notrap noquery
restrict 172.16.0.0 mask 255.255.0.0 nomodify
restrict 127.0.0.1
server 127.127.1.0
fudge 127.127.1.0 stratum 8
driftfile /var/lib/ntp/drift
keys /etc/ntp/keys
statsdir /var/log/ntp/
logfile /var/log/ntp/ntp.log
启动并设置开机启动：
systemctl enable ntpd.service
systemctl start ntpd.service
3.3.5.时间同步配置
定时同步：所有节点全执行
ntpdate 192.168.220.130 echo “server 192.168.220.130 iburst” >>/etc/chrony.conf
systemctl restart chronyd
systemctl enable chronyd
timedatectl
3.3.6.关闭selinux
所有主机执行
vi /etc/selinux/config
设置
SELINUX=disabled
3.3.7.关闭THP特性
所有主机执行
vi /etc/rc.local
追加以下内容

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

执行 source /etc/rc.local 生效
3.3.8.ulimit配置
所有主机均需要配置
新增配置文件：
vi /etc/security/limits.d/hbase.nofiles.conf
以下内容加入到该文件中

hbase - nofile 327680

设定所有用户的ulimit：
vi /etc/security/limits.conf
以下内容添加到该文件中

* - nofile 65536
* - nproc 16384

vi /etc/security/limits.d/20-nproc.conf
以下内容添加到该文件中

*          soft    nproc     16384
root       soft    nproc     unlimited

如果不能生效的话
vi /etc/profile

ulimit -n 65535
ulimit -u 16384

执行 source /etc/profile 生效
基础环境配置完成后重启主机
3.3.9.yum源配置
安装http服务：
rpm -ivh httpd-2.4.6-40.el7.centos.x86_64.rpm
systemctl start httpd
systemctl enable httpd
解压ambari-2.5.0.3-centos7.tar.gz、HDP-2.5.3.0-centos7-rpm.tar.gz、HDP-UTILS-1.1.0.21-centos7.tar.gz、CentOS系统包到/var/www/html下
/var/www/html新建一个centos7目录
CentOS 需要挂载到目录下
新增配置文件：
vi /etc/yum.repos.d/ambari.repo

[HDP]
name=HDP