史上最全的手动 CentOS6.5 CDH5.16.2离线安装

史上最全的手动 CentOS6.5 CDH5.16.2离线安装

1. 集群环境及安装包

1.1. 集群环境

主机名	IP	系统版本	部署服务
hadoop32	192.168.0.32	CentOS6.5_64	CM Server、Agent、MySQL
hadoop33	192.168.0.33	CentOS6.5_64	CM Agent
hadoop34	192.168.0.34	CentOS6.5_64	CM Agent

1.2. 准备安装包

包名	下载地址
mysql-5.7.27-1.el6.x86_64.rpm-bundle.tar	https://dev.mysql.com/downloads/mysql/
mysql-connector-java-5.1.47.jar	https://dev.mysql.com/downloads/connector/j/
jdk-8u221-linux-x64.tar.gz	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
CDH-5.16.2-1.cdh5.16.2.p0.8-el6.parcel	http://archive.cloudera.com/cdh5/parcels/5.16.2.8
CDH-5.16.2-1.cdh5.16.2.p0.8-el6.parcel.sha1	http://archive.cloudera.com/cdh5/parcels/5.16.2.8
cloudera-manager-el6-cm5.16.2_x86_64.tar.gz	http://archive.cloudera.com/cm5/cm/5/
manifest.json	http://archive.cloudera.com/cdh5/parcels/5.16.2.8

2. 环境准备

2.1. 配置hosts映射

vi /etc/hosts

192.168.0.32 hadoop32
192.168.0.33 hadoop33
192.168.0.34 hadoop34

2.2. 配置SSH免密登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ssh-copy-id -i haddop32
ssh-copy-id -i haddop33
ssh-copy-id -i haddop34

2.3. 配置时间同步

1、更换时区

cp /etc/localtime /etc/localtime.bak
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2、同步最新时间
ntpdate asia.pool.ntp.org

3、定时同步
crontab -e
* * * * * ntpdate asia.pool.ntp.org

4、安装 ntp
yum install -y ntp

5、开启 ntp
service ntpd start

6、配置 ntp 开机启动
chkconfig ntpd on

7、检查 ntp 开机启动是否成功
chkconfig --list ntpd
2-5 为 on 表示成功

2.4. 关闭防火墙

1、关闭防火墙
service iptables stop

2、验证
service iptables status

3、关闭防火墙的自动运行
chkconfig iptables off

4、验证
chkconfig --list | grep iptables

2.5. 关闭SELINUX

vi /etc/selinux/config
SELINUX=disabled

2.6. 修改Linux内核参数

查看linux内核参数：vm.swappiness，vm.swappiness值的范围为0~100，作用是控制应用数据在物理内存和虚拟内存之间的交换，值越低，交换的越少。默认值为60。
查看 cat /proc/sys/vm/swappiness
配置 echo "10" > /proc/sys/vm/swappiness

2.7. 关闭大页面压缩

查看THG
cat /sys/kernel/mm/transparent_hugepage/defrag
关闭THG
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

2.8. 修改linux 文件最大打开数

修改文件最大打开数，最大只能写100w，超过了会导致开不了机
vi /etc/security/limits.conf

# End of file
* soft nofile 1000000
* hard nofile 1000000

2.9. 系统运行最大进程数量修改