u014516601的博客

1.首先需要安装jdk，配置免秘钥登录，前面的博客有写过这里就不写了。2.下载安装hadoop2.7.1tar -zxvf hadoop-2.7.1-src.tar.gz3.配置环境变量vi /etc/profile4.进入hadoop的配置文件目录cd /home/hadoop/hadoop-2.7.1/etc/hadoop5.修改hadoop-env.sh导

Ambari和CM管理平台都提示，建议关闭THP，这是为什么？如果不关闭THP，发现Hadoop的系统态CPU使用率很高，原因是RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。而Hadoop是个高密集型内存运算系统，这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对，Cloudera官方也推荐关闭THP。http://www.clo...

1. Ulimit 配置操作系统默认只能打开 1024 个文件，打开的文件超过这个数发现程序会有“too many open files”的错误，1024 对于大数据系统来说显然是不够的，如果不设置，基本上整个大数据系统是“不可用的”，根本不能用于生产环境。配置方法如下：echo "* soft nofile 128000" >> /etc/security/limit...