实战 | 离线搭建CDH6.20平台踩坑实录

最新推荐文章于 2024-05-31 11:46:41 发布

原创

最新推荐文章于 2024-05-31 11:46:41 发布 · 1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #linux #centos #hadoop

本文档详细介绍了如何在CentOS7环境下，通过yum离线安装CDH6.20集群。包括从下载必要的RPM包和parcels，到配置主机环境，如设置hostname、关闭防火墙、配置NTP、安装JDK、MySQL等，再到安装Cloudera Manager，最后部署服务。整个过程涵盖了集群规划、环境准备、CM配置和服务安装等多个环节。

一．CDH安装介绍

平台版本：CDH6.20
安装方式：yum源离线安装
传输介质：U盘
节点数量：3台

二．CDH所需离线安装包及文件下载地址

所需安装包及parcels的下载地址：
1.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm
2.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm
3.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm
4.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.2.0-968826.el7.x86_64.rpm
5.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/enterprise-debuginfo-6.2.0-968826.el7.x86_64.rpm
6.https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
7.https://archive.cloudera.com/cm6/6.2.0/allkeys.asc
8.https://archive.cloudera.com/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel
9.https://archive.cloudera.com/cdh6/6.2.0/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha256
10.https://archive.cloudera.com/cdh6/6.2.0/parcels/manifest.json

三．确认主机安装环境

1.系统版本需求：支持CentOS Linux7.X
   检查系统版本：cat /proc/version
2.存储空间需求：CDH安装目录至少为2GB
	确认存储空间：df -h
3.内存需求：至少4GB

四．规划集群部署

三台物理机的集群部署规划：
IP			主从节点
10.102.0.1	管理节点
10.102.0.2	/
10.102.0.3	/

五．安装前环境准备

1. 网络配置（所有节点）

1.修改hostname：在每个节点上执行：hostname [主机名]
2.配置hosts：vi /etc/hosts，并添加你的节点ip和主机名。

2. 关闭防火墙和SELinux（所有节点）

1.systemctl stop firewalld 关闭防火墙
2.systemctl disable firewalld 禁止防火墙开机自启
3.vim /etc/selinux/config —> SELINUX=disabled

最低0.47元/天解锁文章