org/apache/hadoop/hbase/CompatibilityFactory(scan)没有找到类的解决办法

最新推荐文章于 2025-05-14 23:56:08 发布

sparkexpert

最新推荐文章于 2025-05-14 23:56:08 发布

阅读量3.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hbase Spark 文章标签： spark hbase

本文链接：https://blog.youkuaiyun.com/sparkexpert/article/details/51778616

Spark 同时被 2 个专栏收录

43 篇文章

订阅专栏

Hbase

12 篇文章

订阅专栏

本文解决了Spark连接HBase时遇到的各种找不到类的问题，通过调整依赖版本和添加必要的HBase库来确保正确加载所需的组件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在做spark连接Hbase的时候，总会蹦出一些问题。总结起来就是各种类的找不到。

如：org/apache/hadoop/hbase/CompatibilityFactory没有找到类，

E      xception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan

如此等等。

这些问题的核心还是没有正确加载Hbase所需要的库。

而Hbase中的一些库存在的会与spark中有一些版本区别，因此可以通过测试来进行添加。

正常需要引用的包如下：

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.4.1</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.1.2</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.1.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.1.2</version>
        </dependency>
    </dependencies>