hadoop之sequenceFile

http://www.zgxue.com/198/1984184.html


--------------------------Demo

	protected void setup(Context context) throws IOException, InterruptedException {
		Configuration conf = context.getConfiguration();
		// 设置配置文件名
		System.setProperty("config-file", conf.get("config-file"));
		URI[] uris = context.getCacheFiles();
		if (uris != null) {
			for (URI uri : uris) {
				String filename = uri.toString().substring(uri.toString().lastIndexOf("/") + 1);
				log.info(BaseConstant.LOG_PREFIX + "cache file is " + filename);
				Reader reader = new SequenceFile.Reader(conf, Reader.file(new Path(filename)));
				LongWritable key = new LongWritable();
				Text value = new Text();
				while (reader.next(key, value)) {
					String[] datas = value.toString().split("\\|");
			    }
			    reader.close();
			}
		}
	}


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值