Spark读HBASE - shc方案

最新推荐文章于 2024-11-13 12:00:39 发布

ooobenooo

最新推荐文章于 2024-11-13 12:00:39 发布

阅读量582

点赞数

分类专栏： Spark HBase

本文链接：https://blog.youkuaiyun.com/ooobenooo/article/details/105578712

版权

shc是hortonworks出品的开源方案，基于spark的特性，分片处理，并通过谓词下推，提高处理性能。

1. 引入依赖包

<dependency>
    <groupId>com.hortonworks</groupId>
    <artifactId>shc-core</artifactId>
    <version>1.1.1-2.1-s_2.11</version>
    <scope>provided</scope>
</dependency><dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>1.3.1</version>
    <scope>provided</scope>
</dependency><dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>2.1.0</version>
    <scope>provided</scope>
</dependency><dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.0</version>
    <