行无止境的博客

在hadoop安装目录下：/hadoop2/hadoop-2.7.31、创建目录hdfs dfs -mkdir /userhdfs dfs -mkdir /user/llx在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p。hdfs dfs -mkdir -p /usr/file2、将本地文件或目录（eg:/home/grid/redis...

mappermapper的个数默认mapper个数与split个数比例是1:1，split个数，由splitSize决定，splitSize=max(minSize,max(blockSize,maxSize))，即，取这三个参数的中间值。shuffle过程mapper端会处理输入数据产生中间结果，这个中间结果会写入到本地磁盘，而不是HDFS。每个mapper的输出会先写到一个*环...