虎啸千峰的博客

一、概述hplsql有两种计算引擎，一种是hive on mr，另外一种是hive on spark；在设置map和reduce参数时，由于设置参数问题导致一个 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTast错误，同样的SQL在spark引擎上没有出现。二、错误分析和解决 通过查看执行日志发现这么一条error记录。经过排查发现，mapreduce.map.memory.mb设置的值为5120M，超过了...

一、概述MapReduce主要靠yarn进行资源分配，因此，进行MapReduce作业时，可以通过调节对应的yarn和hive参数优化MapReduce作业。Container是一个逻辑上的yarn资源容器；Container就是一个yarn的java进程，在Mapreduce中的AM，MapTask，ReduceTask都作为Container在Yarn的框架上执行，你可以在RM的网页上【8088端口】看到Container的状态。二、yarn资源管理及设置Yarn的ResourceM..

一、概述　在执行MapReduce作业时，在map阶段读取数据前，FileInputFormat会根据一定的规则将将输入文件split成数据块进行分布式读取。split的个数决定了map的个数。影响文件切分的因素主要包括以下几个：二、影响文件切分的几个因素1、HDFS块的大小 Hdfs块的大小，也就是hadoop中dfs.block.size的大小。hadoop默认数据块的大小为128M；假如一个文件的大小是256M，则文件会被split为2个map。2、文件大小 当分块大小为1..