使用MapReduce结合HBase Filter过滤数据

最新推荐文章于 2024-11-11 20:47:17 发布

原创最新推荐文章于 2024-11-11 20:47:17 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#HBase #mapreduce #HBaseFilter

HBase 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何使用MapReduce结合HBase的SingleColumnValueFilter过滤大量数据的方法。通过实例演示了如何设置过滤条件，并在服务器端实现数据的有效筛选。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用MapReduce过滤HBase数据

需求：读取hbase数据，根据某一些条件，过滤掉不符合情况的行，实现数据在服务器端的过滤。

解决方法：通过翻阅《HBase权威指南》发现，实现这个需求有以下几种方法

① 使用行过滤器（RowFilter），基于行健来过滤数据。通过比较返回比符合条件的行健。

② 单列值过滤器（SingleColumnValueFilter），此过滤器使用的情况比较多。可以用一列的值决定是否一行数据被过滤。

问题：使用SingleColumnValueFilter组成一个FilterList来过滤数据，实现数据在服务器端的过滤，但是当数据量非常大的情况下，如何结合MapReduce实现数据的查询。

解决方法：过滤器在声明SCAN时进行定义，得到的是一整行的数据，而不是自己需要的那一列。使其在Map端得到自己需要的某一列的值。

代码：

public static void ParallelRange(String tableName,String columnFamily,String columnName,String startrowkey,String stoprowkey,String[] args) throws Exception{
  		Configuration conf =new Configuration();
  		//把需要查询的列族和列名 传递给 map函数
  		conf.set("columnFamily", columnFamily);
  		conf.set("columnName", columnName);
  		
        Scan scan = new Scan();        
//        scan.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnName));        								
        scan.setStartRow(Bytes.toBytes(startrowkey));
    	scan.setStopRow(Bytes.toBytes(stoprowkey));
    	args=GetLongAndLati.getxy(args);
    	//设置过滤器
    	List<Filter> filters =new ArrayList<Filter>();
    	//大于或等于最小的经纬度
    	SingleColumnValueFilter filter1 =new SingleColumnValueFilter(Bytes.toBytes("FilterFamily"),
    			Bytes.toBytes("longitude"), CompareOp.GREATER_OR_EQUAL,new BinaryComparator(Bytes.toBytes(args[0])));
    	SingleColumnValueFilter filter2 =new SingleColumnValueFilter(Bytes.toBytes("FilterFamily"),
    			Bytes.toBytes("latitude"), CompareOp.GREATER_OR_EQUAL,new BinaryComparator(Bytes.toBytes(args[1])));
    	//小于或等于最大的经纬度
    	SingleColumnValueFilter filter3 =new SingleColumnValueFilter(Bytes.toBytes("FilterFamily"),
    			Bytes.toBytes("longitude"), CompareOp.LESS_OR_EQUAL,new BinaryComparator(Bytes.toBytes(args[2])));
    	SingleColumnValueFilter filter4 =new SingleColumnValueFilter(Bytes.toBytes("FilterFamily"),
    			Bytes.toBytes("latitude"), CompareOp.LESS_OR_EQUAL,new BinaryComparator(Bytes.toBytes(args[3])));
    	System.out.println("longitude="+args[0]+"latitude="+args[1]);
    	//添加到过滤器list中
    	filters.add(filter1);
    	filters.add(filter2);
    	filters.add(filter3);
    	filters.add(filter4);   	
    	FilterList fl = new FilterList(filters);    	
    	scan.setFilter(fl);
    	scan.setCaching(30);
        
        Job job=Job.getInstance(conf);
        job.setJarByClass(ImageHBase.class);
        job.setNumReduceTasks(0);
        //配置mapper函数
        TableMapReduceUtil.initTableMapperJob(Bytes.toBytes(tableName), scan, RangeMapper.class, Text.class, Text.class, job);        
        //配置输出路径
        String outpath="hdfs://master:9000/tim/geodata/out2";
        FileOutputFormat.setOutputPath(job, new Path(outpath));
        System.exit(job.waitForCompletion(true) ? 0:1);
	}

mapper 函数：

/**
     * 并行查询区域查询Mapper函数
     * @author tim
     *
     */
    static class RangeMapper extends TableMapper<Text, Text>{
    	String columnFamily;
    	String columnName;
    	@Override
		protected void setup(Mapper<ImmutableBytesWritable, Result, Text, Text>.Context context)
				throws IOException, InterruptedException {
			// TODO Auto-generated method stub
    		//得到想要查询的 列族和 列名
    		columnFamily=conf.get("columnFamily");
    		columnName=conf.get("columnName");
			super.setup(context);
		}    	
  		@Override
  		protected void map(ImmutableBytesWritable rowkey, Result rs,Context context)
  				throws IOException, InterruptedException {
  			// TODO Auto-generated method stub
  			//得到想要的行，
  			String rowvalue=Bytes.toString(rs.getValue(Bytes.toBytes(columnFamily), Bytes.toBytes(columnName)));
  			
  			context.write(new Text(rowkey.toString()), new Text(rowvalue));
  		}
  	}

注意：不要在一开始，就声明自己想要的列