【手册】CDH6.3.2及hadoop生态圈工具安装部署手册(附带安装包)

本文档详细介绍了如何在Linux环境下搭建大数据测试环境,包括CDH6.3.2的离线安装、Cloudera Manager的部署、Hive on Spark以及Impala的配置,提供了详细的步骤和注意事项。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大数据测试环境CDH6.3.2安装部署手册

一、前期准备

1、服务器3台,系统要求centos7,服务器配置24核心+64G内存+2.7T磁盘

2、CDH6.3.2相关资源,目前在线下载已收费,只能采用离线安装

3、CM6.3.1相关资源,目前在线下载已收费,只能采用离线安装

4、mysql驱动,jdk安装包

5、集群规划

6、Flink1.12目前官网没有提供,官网只提供了flink1.9版本的集成,如需使用需要自己编译。

内存 磁盘 CPU cm cdh Mysql Hive Impala Kudu Flink Spark Kafka
cdh01 64G 2.7T 24core server namenode
cdh02 64G 2.7T 24core agent datanode
cdh03 64G 2.7T 24core agent datanode

7、http外部访问端口规划

服务名称 端口号
cloudera manager 7180
resourcemanager 8088
hue 8888
namennode 50070
spark 19888
kafka 9092
mysql 3306
hive 10000
hbase 60030
zookeeper 2181

8、数据存储格式及压缩规划

orc列式存储+snappy压缩

二、Linux调优

有些基于linux的调优前期做好的话,能大幅提升服务器性能,所以可以优先选择一些先调好,后边如果还需要调整,在这个基础上进行

1、缓冲预读

df -Th   //查看磁盘部署情况
blockdev --getra /dev/sda2   //查看sda2 预读缓冲
blockdev --setra 2048 /dev/sda2  //修改sda2 预读缓冲为2048

2、文件描述符

vim  /etc/security/limits.conf

增加如下

* soft nofile 65535 #任何用户可以打开的最大的文件描述符数量,默认1024,这里的数值会限制tcp连接
* hard nofile 65535
* soft nproc  65535  #任何用户可以打开的最大进程数
* hard nproc  65000

3、关闭tuned

systemctl stop tuned
systemctl disable tuned
systemctl status tuned

4、磁盘分盘

将硬盘/dev/sdb的全部容量扩展到根目录/

1、一般情况下,系统默认是没有parted这个工具的,所以先得安装:
# yum -y install parted (安装parted工具)
2、命令行查看新增硬盘:
# lsblk (查看当前磁盘设备)
3、给新硬盘分区并打上lvm标签
# parted /dev/sdb (视实际情况的盘符编号)
(parted) mklabel gpt (设置分区类型为gpt)
Yes/No? Yes (确认)
(parted) mkpart extended 0% 100% (扩展分区extended,主分区primary 并使用整个硬盘空间)
(parted) p (查看分区情况)
(parted)toggle 1 lvm (将1分区打上lvm标签)
(parted) p (查看分区情况)
(parted) quit (退出)
4、把物理分区转为卷组
# lsblk
# pvcreate /dev/sdb1 (将分出来的sdb1分区转为物理卷)
# pvdisplay (查看结果)
# vgextend centos /dev/sdb1  (centos是vgdisplay查到的分组名)
# lvdisplay  (查看逻辑卷)
5、把新增卷组空间全部扩容到根目录的逻辑卷
# lvextend -l +100%FREE /dev/mapper/centos-root (将所有空间分配给centos-root即 / 目录)
6、同步更新逻辑卷,使扩容生效
# xfs_growfs /dev/mapper/centos-root (同步文件系统,使扩容生效)
7、查看硬盘的使用情况
# df -hl (查看磁盘使用率)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值