Centos7-CDH5.13.3

本文档详细介绍了如何在CentOS7系统中安装CDH5.13.3,包括集群规划、关闭主机防护、磁盘挂载、JDK安装、设置主机名与解析、免密登录、禁用交换和大页面、配置NTP服务和时间同步、安装MySQL并创建相关用户和数据库,以及安装和配置CM和CDH。整个过程旨在搭建稳定可靠的大数据环境。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、CDH概念

CDH,全称Cloudera's Distribution, including Apache Hadoop。由美国的Cloudera公司推出的大数据产品;CDH是基于稳定版本的Apache Hadoop构建而成,也是目前市场上应用比较广泛的大数据产品。

二、过程

Centos7环境CDH5.13.3安装

1. 集群规划:
    IP:172.*.*.64 cdh1.cdhcluster.com server/agent
    IP:172.*.*.65 cdh2.cdhcluster.com agent
    IP:172.*.*.66 cdh3.cdhcluster.com agent
    
2. 关闭主机防护(ALL)
    2.1 防火墙
    systemctl stop firewalld
    systemctl disable firewalld
    2.2 iptables
    iptables -F
    2.3 selinux
    setenforce 0
    sed -i 's,SELINUX=enforcing,SELINUX=disable,g' /etc/selinux/config
    
3. 磁盘挂载(ALL)
    3.1 创建逻辑卷    (存放缓存使用)
    3.1.1 创建分区
        在/dev/vdb上创建vdb1,大小为200G
        fdisk /dev/vdb
    3.1.2 创建PV
        pvcreate /dev/vdb1
    3.1.3 创建VG
        vgcreate cdhvg /dev/vdb1
    3.1.4 创建逻辑卷LV
        lvcreate -l 51199 -n cdhopt cdhvg
    3.2 格式化磁盘
        mkfs.xfs /dev/cdhvg/cdhopt
    3.3 写入挂载配置文件
        echo "/dev/cdhvg/cdhopt /opt xfs defaults 0 0">>/etc/fstab
    3.4 挂载生效
        mount -a
        
4. 安装JDK(ALL)
    yum -y install java-1.8.0*
    设置环境变量:
        vim /etc/profile (末尾追加)     yum install -y vim  (vim包安装)
            # java
            export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el7_9.x86_64
            export JRE_HOME=$JAVA_HOME/jre
            export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
            export PATH=$JAVA_HOME/bin:$PATH

        (通过键盘方向键移动光标位置  o:下一行插入  a:当前位置新增;键盘[esc]退出插入模式,输入[:wq]:保存退出;输入[:q!]:不保存退出;)

    环境变量即时生效
        source /etc/profile


5. 设置主机名,解析各节点(ALL)
    5.1 设置主机名:
        hostnamectl set-hostname cdh1/2/3.cdhcluster.com
    5.2 解析各节点:
        vim /etc/hosts(末尾添加)
        172.*.*.64 cdh1.cdhcluster.com cdh1
        172.*.*.65 cdh2.cdhcluster.com cdh2
        172.*.*.66 cdh3.cdhcluster.com cdh3            
        
6. 设置各节点免密登录(ALL)
    6.1 生成免密密钥
        ssh-keygen
    6.2 复制密钥到各节点
        ssh-copy-id cdh1
        ssh-copy-id cdh2
        ssh-copy-id cdh3
        


7. 禁止使用交换和大页面(ALL)
    7.1 禁止交换
        vim /etc/sysctl.conf(末尾增加)
            vm.swappiness=0
        
        sysctl vm.swappiness=0
        
    7.2 禁用大页面
        echo never > /sys/kernel/mm/transparent_hugepage/defrag
        echo never > /sys/kernel/mm/transparent_hugepage/enabled
        写入开机初始化
        vim /etc/rc.local(末尾增加)
            echo never > /sys

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我也不清楚

有钱的捧个钱场,(~ ̄▽ ̄)~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值