Centos7-CDH5.13.3

原创

已于 2022-10-11 09:13:41 修改 · 429 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#apache #大数据 #hadoop

于 2022-09-09 14:38:04 首次发布

本文档详细介绍了如何在CentOS7系统中安装CDH5.13.3，包括集群规划、关闭主机防护、磁盘挂载、JDK安装、设置主机名与解析、免密登录、禁用交换和大页面、配置NTP服务和时间同步、安装MySQL并创建相关用户和数据库，以及安装和配置CM和CDH。整个过程旨在搭建稳定可靠的大数据环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、CDH概念

CDH，全称Cloudera's Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品；CDH是基于稳定版本的Apache Hadoop构建而成，也是目前市场上应用比较广泛的大数据产品。

二、过程

Centos7环境CDH5.13.3安装

1. 集群规划：
   IP：172.*.*.64 cdh1.cdhcluster.com server/agent
   IP：172.*.*.65 cdh2.cdhcluster.com agent
   IP：172.*.*.66 cdh3.cdhcluster.com agent

2. 关闭主机防护(ALL)
   2.1 防火墙
   systemctl stop firewalld
   systemctl disable firewalld
   2.2 iptables
   iptables -F
   2.3 selinux
   setenforce 0
   sed -i 's,SELINUX=enforcing,SELINUX=disable,g' /etc/selinux/config

3. 磁盘挂载(ALL)
   3.1 创建逻辑卷 (存放缓存使用)
   3.1.1 创建分区
       在/dev/vdb上创建vdb1,大小为200G
       fdisk /dev/vdb
   3.1.2 创建PV
       pvcreate /dev/vdb1
   3.1.3 创建VG
       vgcreate cdhvg /dev/vdb1
   3.1.4 创建逻辑卷LV
       lvcreate -l 51199 -n cdhopt cdhvg
   3.2 格式化磁盘
       mkfs.xfs /dev/cdhvg/cdhopt
   3.3 写入挂载配置文件
       echo "/dev/cdhvg/cdhopt /opt xfs defaults 0 0">>/etc/fstab
   3.4 挂载生效
       mount -a

4. 安装JDK(ALL)
   yum -y install java-1.8.0*
   设置环境变量：
       vim /etc/profile (末尾追加) yum install -y vim (vim包安装)
           # java
           export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64
           export JRE_HOME=$JAVA_HOME/jre
           export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
           export PATH=$JAVA_HOME/bin:$PATH

（通过键盘方向键移动光标位置 o:下一行插入 a：当前位置新增；键盘[esc]退出插入模式，输入[:wq]：保存退出；输入[:q!]：不保存退出;）

环境变量即时生效
source /etc/profile

5. 设置主机名，解析各节点(ALL)
   5.1 设置主机名：
       hostnamectl set-hostname cdh1/2/3.cdhcluster.com
   5.2 解析各节点：
       vim /etc/hosts(末尾添加)
       172.*.*.64 cdh1.cdhcluster.com cdh1
       172.*.*.65 cdh2.cdhcluster.com cdh2
       172.*.*.66 cdh3.cdhcluster.com cdh3

6. 设置各节点免密登录（ALL）
   6.1 生成免密密钥
       ssh-keygen
   6.2 复制密钥到各节点
       ssh-copy-id cdh1
       ssh-copy-id cdh2
       ssh-copy-id cdh3

7. 禁止使用交换和大页面（ALL）
   7.1 禁止交换
       vim /etc/sysctl.conf(末尾增加)
           vm.swappiness=0

       sysctl vm.swappiness=0

   7.2 禁用大页面
       echo never > /sys/kernel/mm/transparent_hugepage/defrag
       echo never > /sys/kernel/mm/transparent_hugepage/enabled
       写入开机初始化
       vim /etc/rc.local(末尾增加)
           echo never > /sys