CDH6.3.2 组件优化

1 hdfs开启HA 且hive启用连接改为HA模式

1.进入hdfs组件
2.hdfs组件中选择操作按钮
3.操作下拉列表中选择 启用high availability
4.配置service名称
5.等待启用完成
6.进入hive组件
7.hive组件选择操作按钮
8.操作下拉列表中选择更新HiveMeTastore NameNode schema
9.等待完成

2 yarn开启HA

1.进入yarn组件
2.yarn组件中选择操作按钮
3.操作下拉列表中选择 启用high availability
4.等待启用完成

3 配置域名访问

在阿里云环境下Hadoop集群必须用域名访问,不能用IP访问。

进入HDFS的configuration界面

开启如下配置dfs.client.use.datanode.hostname

4 设置物理核和虚拟核占比

一般物理核和虚拟核对比值为1:1或1:2

进入yarn配置,搜索yarn.nodemanager.resource.cpu-vcores修改配置,每台机器物理核2核虚拟成4核

5 修改单个容器下最大cpu申请资源

修改yarn.scheduler.maximum-allocation-vcores参数调整4核

6 设置每个任务容器内存大小和单节点大小

将每个任务容器默认大小从1G调大至4G,修改yarn.scheduler.maximum-allocation-mb调整每个任务容器内存所需大小

根据当前集群环境下每个节点的物理内存,修改yarn.nodemanager.resource.memory-mb调整每个节点内存所需大小

7 关闭Spark动态分配资源参数

关闭spark.dynamicAllocation.enabled参数,否则分配的资源不受控制

8 修改HDFS副本数和权限检查配置

修改dfs.re
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值