【手册】CDH6.3.2及hadoop生态圈工具安装部署手册（附带安装包）

最新推荐文章于 2025-06-24 17:39:58 发布

槐序i

最新推荐文章于 2025-06-24 17:39:58 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据生态圈文章标签： hadoop hive big data

本文链接：https://blog.youkuaiyun.com/spark9527/article/details/116757508

本文档详细介绍了如何在Linux环境下搭建大数据测试环境，包括CDH6.3.2的离线安装、Cloudera Manager的部署、Hive on Spark以及Impala的配置，提供了详细的步骤和注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据测试环境CDH6.3.2安装部署手册

一、前期准备

1、服务器3台，系统要求centos7,服务器配置24核心+64G内存+2.7T磁盘

2、CDH6.3.2相关资源，目前在线下载已收费，只能采用离线安装

3、CM6.3.1相关资源，目前在线下载已收费，只能采用离线安装

4、mysql驱动，jdk安装包

5、集群规划

6、Flink1.12目前官网没有提供，官网只提供了flink1.9版本的集成，如需使用需要自己编译。

	内存	磁盘	CPU	cm	cdh	Mysql	Hive	Impala	Kudu	Flink	Spark	Kafka
cdh01	64G	2.7T	24core	server	namenode	√	√	√	√	√	√	√
cdh02	64G	2.7T	24core	agent	datanode		√	√	√	√	√	√
cdh03	64G	2.7T	24core	agent	datanode		√	√	√	√	√	√

7、http外部访问端口规划

服务名称	端口号
cloudera manager	7180
resourcemanager	8088
hue	8888
namennode	50070
spark	19888
kafka	9092
mysql	3306
hive	10000
hbase	60030
zookeeper	2181

8、数据存储格式及压缩规划

orc列式存储+snappy压缩

二、Linux调优

有些基于linux的调优前期做好的话，能大幅提升服务器性能，所以可以优先选择一些先调好，后边如果还需要调整，在这个基础上进行

1、缓冲预读

df -Th   //查看磁盘部署情况
blockdev --getra /dev/sda2   //查看sda2 预读缓冲
blockdev --setra 2048 /dev/sda2  //修改sda2 预读缓冲为2048

2、文件描述符

vim  /etc/security/limits.conf

增加如下

* soft nofile 65535 #任何用户可以打开的最大的文件描述符数量，默认1024，这里的数值会限制tcp连接
* hard nofile 65535
* soft nproc  65535  #任何用户可以打开的最大进程数
* hard nproc  65000

3、关闭tuned

systemctl stop tuned
systemctl disable tuned
systemctl status tuned

4、磁盘分盘

将硬盘/dev/sdb的全部容量扩展到根目录/

1、一般情况下，系统默认是没有parted这个工具的，所以先得安装：
# yum -y install parted (安装parted工具)
2、命令行查看新增硬盘：
# lsblk (查看当前磁盘设备)
3、给新硬盘分区并打上lvm标签
# parted /dev/sdb (视实际情况的盘符编号)
(parted) mklabel gpt (设置分区类型为gpt)
Yes/No? Yes (确认)
(parted) mkpart extended 0% 100% (扩展分区extended，主分区primary 并使用整个硬盘空间)
(parted) p (查看分区情况)
(parted)toggle 1 lvm (将1分区打上lvm标签)
(parted) p (查看分区情况)
(parted) quit (退出)
4、把物理分区转为卷组
# lsblk
# pvcreate /dev/sdb1 (将分出来的sdb1分区转为物理卷)
# pvdisplay (查看结果)
# vgextend centos /dev/sdb1  (centos是vgdisplay查到的分组名)
# lvdisplay  (查看逻辑卷)
5、把新增卷组空间全部扩容到根目录的逻辑卷
# lvextend -l +100%FREE /dev/mapper/centos-root (将所有空间分配给centos-root即 / 目录)
6、同步更新逻辑卷，使扩容生效
# xfs_growfs /dev/mapper/centos-root (同步文件系统，使扩容生效)
7、查看硬盘的使用情况
# df -hl (查看磁盘使用率)