java操作kudu及sparksql

最新推荐文章于 2024-04-11 08:54:52 发布

Losed_Memory

最新推荐文章于 2024-04-11 08:54:52 发布

阅读量724

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： kudu

本文链接：https://blog.youkuaiyun.com/losed_memory/article/details/89145756

这篇博客记录了作者初次接触大数据项目时使用Kudu和Hadoop的经验，主要涵盖了如何在Java中添加POM依赖，使用KuduClient进行CRUD操作，以及如何利用SparkSQL查询Kudu数据。由于官方文档主要提供Scala版本，作者通过查看源码找到了Java版SparkSQL查询的方法，指出通过指定format和包路径可以实现Spark对其他库的访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首次接触大数据项目，用到了kudu及hadoop，为防忘记故写篇笔记以作参考

1）pom依赖

  <!-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-client -->
        <dependency>
            <groupId>org.apache.kudu</groupId>
            <artifactId>kudu-client</artifactId>
            <version>1.5.0-cdh5.13.1</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-client-tools -->
        <dependency>
            <groupId>org.apache.kudu</groupId>
            <artifactId>kudu-client-tools</artifactId>
            <version>1.5.0-cdh5.13.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-spark2 -->
        <dependency>
            <groupId>org.apache.kudu</groupId>
            <artifactId>kudu-spark2_2.11</artifactId>
            <version>1.6.0</version>
        </dependency>

本文用的是cloudera版本，添加：

 <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>