cdh6.3.2离线部署

一．CDH6.3.2版本对应的组件列表

包括但不限于以下内容：

‌Hadoop核心组件‌：

HDFS 3.0.0+cdh6.3.2

YARN 3.0.0+cdh6.3.2

MapReduce2 3.0.0+cdh6.3.2

‌数据存储和处理组件‌：

HBase 2.1.0+cdh6.3.2

Hive 2.1.1+cdh6.3.2

Impala 3.2.0+cdh6.3.2

Solr 7.4.0+cdh6.3.2

Sqoop 1.4.7+cdh6.3.2

‌数据集成和流处理组件‌：

Kafka 2.2.1+cdh6.3.2

FlumeNG 1.9.0+cdh6.3.2

Oozie 5.1.0+cdh6.3.2

‌安全与管理组件‌：

Cloudera Manager Agent 6.3.1

Cloudera Manager Management Daemon 6.3.1

Apache Sentry 2.1.0+cdh6.3.2

Apache Knox（提供单一访问点和API网关）

‌其他组件‌：

Spark 2.4.0+cdh6.3.2

ZooKeeper 3.4.5+cdh6.3.2

Hue 4.2.0+cdh6.3.2

Parquet 1.9.0+cdh6.3.2

Pig 0.17.0+cdh6.3.2

Kudu 1.10.0+cdh6.3.2

Lily HBase Indexer 1.5+cdh6.3.2

HCatalog 2.1.1+cdh6.3.2

Java 8（java version “1.8.0_151”）

请注意，虽然CDH6.3.2版本本身包含上述组件，但某些特定功能或组件可能需要额外的配置或安装。例如，Flink服务在CDH6.3.2版本中并未直接包含，因此需要手动编译和安装。

此外，CDH6.3.2是基于Apache Hadoop生态系统构建的，提供了丰富的集成组件和稳定的生产环境支持。

以上信息仅供参考，具体安装和使用时，建议参考官方文档或专业指导。

二.CDH6.3.2的安装环境要求主要包括以下几个方面

‌系统基础配置‌：

‌网络配置‌：所有节点需要配置静态IP地址，并确保节点之间可以相互通信。同时，需要配置hosts映射文件，以便节点之间可以通过主机名相互访问‌。

‌防火墙与SELinux‌：需要关闭firewalld、iptables以及SELinux，以避免这些安全组件对CDH集群的正常运行造成干扰‌。

‌SSH免密登录‌：需要在所有节点之间配置SSH免密登录，以便Cloudera Manager能够方便地管理各个节点‌。

‌软件依赖‌：

‌JDK‌：CDH6.3.2需要Java运行环境，通常需要安装JDK 1.8版本‌。

‌数据库‌：Cloudera Manager和CDH集群中的某些服务（如Hive的Metastore）需要使用MySQL等关系型数据库作为后端存储。在安装MySQL后，还需要创建相应的数据库和用户，并赋予必要的权限‌。

‌Cloudera Manager‌：

‌安装要求‌：Cloudera Manager Server通常安装在集群中的一个节点上，负责管理和监控整个集群。而Cloudera Manager Agent则需要安装在所有节点上，负责与Server进行通信并执行相应的管理任务‌。

‌数据库配置‌：在部署Cloudera Manager时，需要指定其使用的数据库（如MySQL），并配置相应的数据库连接信息，以便存储Cloudera Manager的配置和监控信息‌。

‌硬件资源‌：

根据实际需求和集群规模，需要准备足够的硬件资源，包括CPU、内存、磁盘空间等。例如，在搭建大数据平台时，可能需要准备多台机器，并配置足够的内存和磁盘空间来存储和处理数据‌。

‌操作系统‌：

CDH6.3.2通常支持在CentOS、Red Hat Enterprise Linux等Linux操作系统上运行。在安装前，需要确保操作系统的版本和配置符合CDH6.3.2的要求‌。

软件依赖:

‌JDK‌：CDH6.3.2需要Java运行环境，通常需要安装JDK 1.8版本‌3。

‌MySQL5.7系列数据库‌：Cloudera Manager和CDH集群中的某些服务（如Hive的Metastore）需要使用MySQL作为后端数据库。在安装MySQL后，还需要创建相应的数据库和用户，并赋予必要的权限‌。

三.部署过程

服务器版本centos7.6,python版本2.7

环境初始化

1.修改主机名

hostnamectl set-hostname cdh179

2.关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

3.关闭selinux

vim /etc/sysconfig/selinux

SELINUX=disabled

setenforce 0

4.配置/etc/hosts

echo  "192.169.138.179 cdh179" >> /etc/hosts

echo  "192.169.138.186 cdh186" >> /etc/hosts

echo  "192.169.138.187 cdh187" >> /etc/hosts

echo  "192.169.138.188 cdh188" >> /etc/hosts

echo  "192.169.138.189 cdh189" >> /etc/hosts

echo  "192.169.138.190 cdh190" >> /etc/hosts

1. 设置免密登录

ssh-keygen -t rsa