java spark hbase scan过滤查询

最近用java从hbase中 做spark清洗,由于需要根据key模糊查询,便在网上找了各种资料,凑合一块儿给弄出来了。

1、获取spark上下文,其中的 PropertiesUtils 是一个工具类,可以自己去写,就是加载spark的配置文件

public static JavaSparkContext getSparkConf() {
        SparkConf sparkConf = new SparkConf();
        Properties properties = PropertiesUtils.loadProperties("spark.properties");
        Set<String> propertiesNameSet = properties.stringPropertyNames();
        for (String propertiesName : propertiesNameSet) {
            sparkConf.set(propertiesName, properties.getProperty(propertiesName));
        }
        return new JavaSparkContext(sparkConf);;
    }


2、获取hbase的配置文件

    public static Configuration getHbaseConfig() {
        Properties properties = PropertiesUtils.loadProperties("hbase.properties");
        Set<String> propertiesNameSet &#

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值