coolpad9187的专栏

MapReduce的大体流程是这样的，如图所示： 由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 3.worker读取输入源片段 4.worker执行map任务，将任务输出保存在本地 5.master调度worker执行reduce任务，reduce worker读取map任务的输出文件

通过命令： Hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/ 上传文件到hdfs是出现错误 14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteE