qq_34124060的博客

Map Reduce数量相关 数据分片大小 (分片的数量决定map的数量) 计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize)) set mapreduce.input.fileinputformat.split.maxsize=750000000;单个reduce处理的数据量 (影响reduce的数量) ...

影响Mapper的数量 1）文件数量 2）文件大小，根据下面参数进行切割 set mapred.max.split.size=128000000影响Reducer数量 mapred.reduce.tasks(强制指定reduce的任务数量) hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G）...

建立一张测试表CREATE TABLE test (cookieid STRING, create_time STRING, pv INT) ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';查看表数据select * from test;+----------------+-------------------+----------+--+...