Hadoop中 使用自定义的Writable,作为value在map和reduce传递参数。

本文深入探讨了在Hadoop环境下如何利用自定义Writable作为value在map和reduce阶段传递参数,并强调了在重载readFields和write方法时清除原有值的重要性,以避免在reduce阶段出现意外的自定义Writable。
Hadoop中 使用自定义的Writable,作为value在map和reduce传递参数。

似乎自始至终,传递参数时只有一个Writable存在。这个Writable采用readFields和write改变自身的值,然后传给reduce。因此在重载这两个函数的时候,一定要将上一个Writable的所有东西全部清除,在进行readFields

比如:

public class NodeInforWritable implements WritableComparable<NodeInforWritable> {
	
	public int nodeID=-1;
	public int[] ajacentNodeList=null;
	public ArrayList<Integer> epsAjacentNodeList=null;
	@Override
	public void readFields(DataInput in) throws IOException
	{	
		//in.readChar();
		nodeID=in.readInt();
		
		int ajacentnodecount=in.readInt();
		
		ajacentNodeList=new int[ajacentnodecount];
		
		for(int i=0;i<ajacentnodecount;i++)
		{
			ajacentNodeList[i]=in.readInt();
		}
		
		int epsneighborcount=in.readInt();
		
		epsAjacentNodeList=new ArrayList<Integer>();
		
		if(epsneighborcount!=0)
		{
			
			for(int i=0;i<epsneighborcount;i++)
			{
				epsAjacentNodeList.add(in.readInt());
			}
		}
	}
}
该类中的epsAjacentNodeList和ajacentNodeList都必须赋一个新的值,否则的话,之后在reduce中会出现很多的莫名奇妙的自定义Writable。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值