hadoop集群建设01物理机准备

物理机配置

目前市面主流的物理机配置基本都为26核384g内存机器，盘的大小一般为4T*10

1、主机操作系统选择：center OS 7.4操作系统

2、主机swap配置

Linux系统中当内存使用到一定程度后会使用swap分区，这是由/proc/sys/vm/swappiness文件中的vm.swappiness  参数进行控制的，linux默认vm.swappiness=60

但是对于hadoop集群来说，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。所以在搭建cloudera-manager的时候，会建议调整vm.swappiness参数，我一般设置为0，vm.swappiness的值越小使用swap分区的可能性就越小。设置方法为：

sysctl -w vm.swappiness=0

如果集群已经使用了swap分区，在设置vm.swappiness值之后建议对swap分区进行刷新,命令为：

swapoff -a 

swapon -a

也可在开机启动配置中直接增加swapoff -a

[hadoop@whx-9 ~]$ free -g

total used free shared buff/cache available

Mem: 125 24 8 0 92 99

Swap: 0 0 0

3、主机磁盘配置

对于所有已规划为datanode节点的机器的数据盘按照raid0 依次挂载在/mnt/data01-data10上，关于raid0与JBOD比较速度问题&#