一、CDH概念
CDH,全称Cloudera's Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品;CDH是基于稳定版本的Apache Hadoop构建而成,也是目前市场上应用比较广泛的大数据产品。
二、过程
Centos7环境CDH5.13.3安装
1. 集群规划:
IP:172.*.*.64 cdh1.cdhcluster.com server/agent
IP:172.*.*.65 cdh2.cdhcluster.com agent
IP:172.*.*.66 cdh3.cdhcluster.com agent
2. 关闭主机防护(ALL)
2.1 防火墙
systemctl stop firewalld
systemctl disable firewalld
2.2 iptables
iptables -F
2.3 selinux
setenforce 0
sed -i 's,SELINUX=enforcing,SELINUX=disable,g' /etc/selinux/config
3. 磁盘挂载(ALL)
3.1 创建逻辑卷 (存放缓存使用)
3.1.1 创建分区
在/dev/vdb上创建vdb1,大小为200G
fdisk /dev/vdb
3.1.2 创建PV
pvcreate /dev/vdb1
3.1.3 创建VG
vgcreate cdhvg /dev/vdb1
3.1.4 创建逻辑卷LV
lvcreate -l 51199 -n cdhopt cdhvg
3.2 格式化磁盘
mkfs.xfs /dev/cdhvg/cdhopt
3.3 写入挂载配置文件
echo "/dev/cdhvg/cdhopt /opt xfs defaults 0 0">>/etc/fstab
3.4 挂载生效
mount -a
4. 安装JDK(ALL)
yum -y install java-1.8.0*
设置环境变量:
vim /etc/profile (末尾追加) yum install -y vim (vim包安装)
# java
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
(通过键盘方向键移动光标位置 o:下一行插入 a:当前位置新增;键盘[esc]退出插入模式,输入[:wq]:保存退出;输入[:q!]:不保存退出;)
环境变量即时生效
source /etc/profile
5. 设置主机名,解析各节点(ALL)
5.1 设置主机名:
hostnamectl set-hostname cdh1/2/3.cdhcluster.com
5.2 解析各节点:
vim /etc/hosts(末尾添加)
172.*.*.64 cdh1.cdhcluster.com cdh1
172.*.*.65 cdh2.cdhcluster.com cdh2
172.*.*.66 cdh3.cdhcluster.com cdh3
6. 设置各节点免密登录(ALL)
6.1 生成免密密钥
ssh-keygen
6.2 复制密钥到各节点
ssh-copy-id cdh1
ssh-copy-id cdh2
ssh-copy-id cdh3
7. 禁止使用交换和大页面(ALL)
7.1 禁止交换
vim /etc/sysctl.conf(末尾增加)
vm.swappiness=0
sysctl vm.swappiness=0
7.2 禁用大页面
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
写入开机初始化
vim /etc/rc.local(末尾增加)
echo never > /sys