qq_38019655的博客

Hadoop的JVM重用机制和小文件解决一、hadoop2.0 uber功能　　1) uber的原理：Yarn的默认配置会禁用uber组件，即不允许JVM重用。我们先看看在这种情况下，Yarn是如何执行一个MapReduce job的。首先，Resource Manager里的Application Manager会为每一个application(比如一个用户提交的MapReduce Job)...

Hadoop调优策略一、调优策略　　1.调节溢写缓冲区大小，减少Spill溢写次数，减少磁盘I/O次数　　2.加入Combiner中间过程，在溢写缓冲区就会发生Combiner，好处是：比如——hello 1 hello 1一共占14个字节，Combiner 后，变为hello 2 。所以也能够间接减少Spill溢写次数，从而提高性能。　　3.加入Combiner中间过程，在Merger过...

Hadoop压缩1、2种Hadoop自带压缩格式的特征比较2、gzip压缩　　优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。缺点：不支持split。3、bzip2压缩　优点：支持split；具有很高的压缩率，比gzip压缩率都高；...

hadoop一、配置主机名　　执行：vim /etc/sysconfig/network(需要重启)。　　临时使用：hostname hadoop01二、配置hosts文件　　执行：vim /etc/hosts(配置主键名和ip的映射关系)三、配置免秘钥　　执行：ssh-keygen　然后一直回车　　生成节点的公钥和私钥，生成的文件会自动放在/root/.ssh目录下。然后把公钥发...