MultipleInputs.addInputPath注意点

原创,转载请注明出处:

使用MultipleInputs.addInputPath添加多输入源(超过两个)的时候:

MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);
MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class);
MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);

我的文件格式是:
otheArgs[0]指向的文件格式:

key1 keyname1
key2 keyname2

otheArgs[1]指向的文件格式:

key1 valA1
key2 valA2

otheArgs[2]指向的文件格式:

key1 valB1
key2 valB2


在elipse里面运行指定参数的时候,如果otheArgs[2]和otheArgs[1]相同,那么此时MultipleInputs只执行其中一条addInputPath语句,我的测试环境中测试出来的结果就是执行了

MultipleInputs.addInputPath(conf, new Path(otheArgs[2]), TextInputFormat.class,JoinCPUMapper2.class);

1.要求otheArgs[2]和otheArgs[1]要不一样。
2.reduce之后生成文件是:

key1 keyname1 valA1
key2 keyname2 valA2
key1 keyname1 valB1
key2 keyname2 valB2

而不是:

key1 keyname1 valA1 valB1
key2 keyname2 valA2 valB2

所以要实现第二种join的结果,我觉得还是要使用MapReduce job流的相关控制了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值