hadoopp的博客

多机版生产环境搭建(HDFS+yarn) 1.准备四台linux主机   2.配置每台虚拟机网卡eth0     [root@100 /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0      DEVICE=eth0     HWADDR=00:0C:29:7D:83:D6     TYPE=Ethernet     UUI

YARN参数优化 1、Mapreduce 提交复制 mapreduce.client.submit.file.replication mapreduce任务数据的副本数，默认是10，比普通HDFS文件的默认幅本数大很多，可能也是考虑到把输入数据放到更多的DN上，尽可能实现本地数据计算，但会增大数据量，更改为1个副本 2、MapReduce 作业的最大尝试次数 MapReduce 作...

做Hadoop集群维护大概有4年多了，其中有小三年都在维护cdh版本的集群，下面就千节点集群的HDFS调优写一下个人心得，大家可以给我指正错误的地方。 1、dfs.block.size, dfs.blocksize 该参数在5.13.1版本的cdh的默认块大小为128M，此参数事需要根据输入文件的大小以及计算是生产的map来总和考量。一般来说，文件大，集群数量少，还是建议将bl...

1、关闭防火墙 新机器接口机分配下来后需要关闭防火墙 [root@whx-1 ~]# systemctl stop firewalld.service && systemctl disable firewalld.service Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.servi...

业务人员反馈部分job运行缓慢，于是进行了统计观察，resource manager页面观察到如下现象 1.作业比以前运行的时间变长 具体大概是个别job平时1小时搞定，偶尔会出现2小时左右，集群计算资源也没打满状态。 2.Job的日志中有以下WARN的信息 2018-04-18 00:16:11,632 WARN [ResponseProcessor for block BP-&l...