mas2005的博客

WordCount是一个入门的MapReduce程序：package org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop...

1、一个大文件需要处理，它在在 HDFS 上是以 block 块形式存放，每个 block 默认为 128M存 3 份，运行时每个 map 任务会处理一个 split，如果 block 大和 split 相同（默认情况下确实相同） ， 有多少个 block 就有多少个 map 任务， 所以对整个文件处理时会有很多 map 任务进行并行计算2、 每个 map 任务处理完输入的 split 后...

启动HDFS的垃圾回收站为了防止误删，一般默认是关闭的，需要我们自己配置文件打开。修改core-site.xml    <property>               <name>fs.trash.interval</name>               <value>1440</value>              ...