mr运行过程中的一些参数

mr运行过程中的一些参数说明:


jar包:/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar       安装hadoop时从源代码拷贝过来的,我们可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out   把这个jar包里wordcount功能提交给map_reduce当做一个作业运行,测试map_reduce系统是否可以正常工作,in  输入数据目录(数据源) out 输出数据目录(即输出到哪里)
12/09/17 20:39:06 INFO input.FileInputFormat: Total input paths to process : 2
12/09/17 20:39:07 INFO mapred.JobClient: Running job: job_201209172027_0002        运行作业号“2012年9月17日1856不是时间”
12/09/17 20:39:08 INFO mapred.JobClient:  map 0% reduce 0%                         
12/09/17 20:40:34 INFO mapred.JobClient:  map 50% reduce 0%
12/09/17 20:40:49 INFO mapred.JobClient:  map 100% reduce 0%                       map  reduce进度
12/09/17 20:41:02 INFO mapred.JobClient:  map 100% reduce 100%
12/09/17 20:41:04 INFO mapred.JobClient: Job complete: job_201209172027_0002       作业完成
12/09/17 20:41:04 INFO mapred.JobClient: Counters: 17
12/09/17 20:41:04 INFO mapred.JobClient:   Job Counters                            作业计数器
12/09/17 20:41:04 INFO mapred.JobClient:     Launched reduce tasks=1               启动reduce任务1个
12/09/17 20:41:04 INFO mapred.JobClient:     Launched map tasks=3                  启动map任务3个
12/09/17 20:41:04 INFO mapred.JobClient:     Data-local map tasks=3
12/09/17 20:41:04 INFO mapred.JobClient:   FileSystemCounters                      文件系统计数器
12/09/17 20:41:04 INFO mapred.JobClient:     FILE_BYTES_READ=59
12/09/17 20:41:04 INFO mapred.JobClient:     HDFS_BYTES_READ=29
12/09/17 20:41:04 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=188
12/09/17 20:41:04 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=29
12/09/17 20:41:04 INFO mapred.JobClient:   Map-Reduce Framework                    map_reduce框架
12/09/17 20:41:04 INFO mapred.JobClient:     Reduce input groups=3                 reduce输入组3
12/09/17 20:41:04 INFO mapred.JobClient:     Combine output records=4              合并输出记录4
12/09/17 20:41:04 INFO mapred.JobClient:     Map input records=2                   map输入记录2
12/09/17 20:41:04 INFO mapred.JobClient:     Reduce shuffle bytes=65               reduce shuffle=预处理 减少计算量 算的更快
12/09/17 20:41:04 INFO mapred.JobClient:     Reduce output records=3               reduce输出记录3
12/09/17 20:41:04 INFO mapred.JobClient:     Spilled Records=8                     溢出记录8
12/09/17 20:41:04 INFO mapred.JobClient:     Map output bytes=45                   map输出字节45
12/09/17 20:41:04 INFO mapred.JobClient:     Combine input records=4               合并输入记录4
12/09/17 20:41:04 INFO mapred.JobClient:     Map output records=4                  map输出记录4
12/09/17 20:41:04 INFO mapred.JobClient:     Reduce input records=4                reduce输入记录4

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值