
CDH
A_ChunUnique
大数据爱好者
展开
-
CDH优化
一、HDFS dfs.block.size HDFS中的数据block大小,默认是64M,对于较大集群,可以设置为128或264Mdfs.datanode.socket.write.timeout/dfs.socket.timeout 增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置(默认300),比如30000,转载 2017-11-06 10:56:56 · 1292 阅读 · 0 评论 -
CDH Vcores和DRF
CDH集群调优:内存、Vcores和DRFyurnom2015年08月07日1条评论1,124次浏览吐槽最近“闲”来无事,通过CM把vcores使用情况调出来看了一眼,发现不论集群中有多少个任务在跑,已分配的VCores始终不会超过120。而集群的可用Vcores是360(15台机器×24虚拟核)。这就相当于CPU资源只用到了1/3,作为一个半强迫症患者绝对不能容忍这样的事情发生。分析的过程转载 2017-11-06 10:58:24 · 395 阅读 · 0 评论 -
CDH Upgrade 5.10.0-->5.11.0
官网Upgrading to CDH 5.6 Using Parcels一、将CM 5.11.0和 CDH 5.11.0的parcels下载好,上传至CM主机。二、进入/val/www/html路径创建5.10.0文件夹,将5.10.0版本的CM和CDH parcel包都移入。三、/val/www/html路径下 1、mkdir cm5/redhat/5/x86_642、tar -zxvf cm5原创 2017-11-16 17:58:15 · 588 阅读 · 0 评论