基于hadoop0.20.2的mapreduce结果存入Hbase

本文介绍了一个使用HBase MapReduce进行数据处理的具体示例。该示例从HBase表'blog'读取数据,通过MapReduce任务将作者昵称与文章标签关联起来,并将结果写回到另一个HBase表'tag_friend'中。
package com.founder.hbase.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.mapreduce.TableMapper;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class TestMapReducerJob  extends Configured implements Tool {
    public static Configuration conf = null ;
static{
conf = HBaseConfiguration.create();
conf.set("hbase.master", "192.168.136.131");
conf.set("hbase.zookeeper.quorum", "ubuntu");
conf.set("hbase.zookeeper.property.clientPort", "2181");
conf.set("hadoop.job.ugi", "hadoop,Tardis");
}

public static class Mapper extends TableMapper<ImmutableBytesWritable, ImmutableBytesWritable>{
public Mapper(){
}
@Override
protected void map(ImmutableBytesWritable row, Result values, Context context) throws IOException{
ImmutableBytesWritable value = null;
       String[] tags = null;
       for (KeyValue kv : values.list()) {
           if ("author".equals(Bytes.toString(kv.getFamily()))
                   && "nickname".equals(Bytes.toString(kv.getQualifier()))) {
               value = new ImmutableBytesWritable(kv.getValue());
           }
           if ("article".equals(Bytes.toString(kv.getFamily()))
                   && "tags".equals(Bytes.toString(kv.getQualifier()))) {
               tags = Bytes.toString(kv.getValue()).split(",");
           }
       }
       for (int i = 0; i < tags.length; i++) {
           ImmutableBytesWritable key = new ImmutableBytesWritable(Bytes.toBytes(tags[i].toLowerCase()));
           try {
               context.write(key, value);
           } catch (InterruptedException e) {
               throw new IOException(e);
           }
       }
}
}

public static class Reducer extends TableReducer<ImmutableBytesWritable, ImmutableBytesWritable, 
                                   ImmutableBytesWritable>{
@Override
protected void reduce(ImmutableBytesWritable key, Iterable<ImmutableBytesWritable> values,
           Context context)
throws IOException, InterruptedException {
   String friends = "";
       for (ImmutableBytesWritable val : values) {
           friends += (friends.length() > 0 ? "," : "") + Bytes.toString(val.get());
       }
       Put put = new Put(key.get());
       put.add(Bytes.toBytes("person"), Bytes.toBytes("nicknames"),
           Bytes.toBytes(friends));
       context.write(key, put);
   }
}

@Override
public int run(String[] arg) throws Exception {
       Job job = new Job(conf, "HBase_FindFriend");// 任务名称
       job.setJarByClass(TestMapReducerJob.class);// 指定class
       Scan scan = new Scan();
       scan.addColumn(Bytes.toBytes("author"), Bytes.toBytes("nickname"));
       scan.addColumn(Bytes.toBytes("article"), Bytes.toBytes("tags"));
       TableMapReduceUtil.initTableMapperJob("blog", scan,
               Mapper.class, ImmutableBytesWritable.class,
               ImmutableBytesWritable.class, job);
       TableMapReduceUtil.initTableReducerJob("tag_friend",
               Reducer.class, job);
      return job.waitForCompletion(true) ? 0:1;
}

public static void main(String[] args) throws Exception{
int res = ToolRunner.run(conf, new TestMapReducerJob(),args);
System.exit(res);
    }
}
考虑柔性负荷的综合能源系统低碳经济优化调度【考虑碳交易机制】(Matlab代码实现)内容概要:本文围绕“考虑柔性负荷的综合能源系统低碳经济优化调度”展开,重点研究在碳交易机制下如何实现综合能源系统的低碳化与经济性协同优化。通过构建包含风电、光伏、储能、柔性负荷等多种能源形式的系统模型,结合碳交易成本与能源调度成本,提出优化调度策略,以降低碳排放并提升系统运行经济性。文中采用Matlab进行仿真代码实现,验证了所提模型在平衡能源供需、平抑可再生能源波动、引导柔性负荷参与调度等方面的有效性,为低碳能源系统的设计与运行提供了技术支撑。; 适合人群:具备一定电力系统、能源系统背景,熟悉Matlab编程,从事能源优化、低碳调度、综合能源系统等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标:①研究碳交易机制对综合能源系统调度决策的影响;②实现柔性负荷在削峰填谷、促进可再生能源消纳中的作用;③掌握基于Matlab的能源系统建模与优化求解方法;④为实际综合能源项目提供低碳经济调度方案参考。; 阅读建议:建议读者结合Matlab代码深入理解模型构建与求解过程,重点关注目标函数设计、约束条件设置及碳交易成本的量化方式,可进一步扩展至多能互补、需求响应等场景进行二次开发与仿真验证。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值