大数据复习-生产调优

一、HDFS核心参数
修改namenode内存，比如设置namenode内存为3g，hadoop2.0参数为HADOOP_NAMENODE_OPTS=-Xmx3072m
namenode最小值1G，每增加1000000个block，增加1G内存。datenode最小值4G，block数，或者副本数升高，都应该调大datanode的值。一个datanode上的副本总数低于4000000，调为4G，超过4000000，每增加1000000，增加1G。
HADOOP_NAMENODE_OPTS=“INFO,RFAS-Xmx1024m”

回收站配置 fs.trash.checkpoint.interval=10

mapreduce调优参数

减少数据倾斜的方法
（1）首先检查是否空值太多造成的数据倾斜。
生产环境，可以直接过滤掉空值，如果想保留空值，就自定义分区，将空值加随机数打散。最后再二次聚合。
（2）能在map阶段提前处理，最好现在map阶段处理。如：combiner,mapjoin
（3）设置多个reduce个数
解决hadoop小文件优化方法。
（1）在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS（数据源头）
（2）hadoop archive（存储方向）
是一个高效的将小文件放入HDFS块中的文件存档工具，能够将多个小文件打包成一个HAR文件，从而达到减少namenode的内存使用
（3）combinetextinputformat(计算方向)
combinetextinputformat用于将多个小文件在切片过程中生成一个单独的切片或者少量的切片。
（4）开启UBER模式，实现JVM重用