数据湖 Hudi 0.12.0 编译搭建——集成 Hive3.x 与 Spark3.x

已于 2023-04-21 12:10:45 修改
阅读量7.1k 收藏 54
点赞数 7
文章标签： Hudi hive hadoop 大数据 数据仓库
于 2022-12-11 19:51:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46389691/article/details/128276527
版权

Hudi 搭建

集群其它生态安装与配置：

环境准备

集群系统：CentOS 7.5

安装 Hudi 前我的集群版本如下：

组件版本号
Hadoop3.1.3
Spark3.2.2
Hive3.1.2
JDK1.8
MySQL5.7

注意，开始安装 Hudi 前请先检索你的集群，选择合适的 Hudi 版本。

一、安装 Maven

我这里使用的 Maven 版本为 3.6.1。

1.解压

解压到你的指定路径中。

tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /opt/module/

# 改个名称
mv apache-maven-3.6.1/ maven-3.6.1/
2.配置环境变量
vi /etc/profile

#MAVEN_HOME
MAVEN_HOME=/opt/module/maven-3.6.1
PATH=$PATH:$MAVEN_HOME/bin

保存退出后注意使环境变量生效，souce /ect/profile。

输入 mvn -v 检查是否安装成功。

在这里插入图片描述

3.修改 Maven 下载源
vi $MAVEN_HOME/conf/settings.xml

找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。

<!-- 添加阿里云镜像-->
<mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>
二、安装 Hudi

Hudi 官方下载地址

1.解压
tar -zxvf hudi-0.12.0.src.tgz -C /opt/module/
2.配置环境变量
vi /etc/profile

#HUDI_HOME
HUDI_HOME=/opt/module/hudi-0.12.0

保存退出后注意使环境变量生效，souce /ect/profile。

3.修改 Hudi 下载源与对应版本号
vi $HUDI_HOME/pom.xml

找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。

<!-- 添加阿里云依赖-->
<repository>
        <id>nexus-aliyun</id>
        <name>nexus-aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <releases>
            <enabled>true</enabled>
        </releases>
        <snapshots>
            <enabled>false</enabled>
        </snapshots>
    </repository>

继续编辑 pom.xml 文件，修改组件的对应版本号。

4.修改源码以兼容 Hadoop3.x

Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。

vim $HUDI_HOME/hudi-common/src/main/java/org/apache/hudi/common/table/log/block/HoodieParquetDataBlock.java

在 HoodieParquetDataBlock.java 文件中的大约第 110 行中的参数中添加一个 null 值。

5. 解决 Spark 依赖冲突

我使用的 Hive 版本为 3.1.2，其携带的 jetty 版本是 0.9.3，而 Hudi 本身用的 jetty 版本是 0.9.4，存在依赖冲突，会造成编译错误。

vim $HUDI_HOME/packaging/hudi-spark-bundle/pom.xml

解决 hive-service 依赖冲突：

在大约第 382 行。

      <exclusions>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-jdbc 依赖冲突：

在大约第 413 行。

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-metastore 依赖冲突：

在大约第 420 行。

<exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>

解决 hive-common 依赖冲突：

在大约第 427 行。

   <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

增加 Hudi 配置版本的 jetty 依赖：

    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>
6. 解决 Spark 向 Hudi 插入报错
vim $HUDI_HOME/packaging/hudi-utilities-bundle/pom.xml

解决 Hudi 冲突：

大约在第 345 行

     <dependency>
       <groupId>org.apache.hudi</groupId>
       <artifactId>hudi-common</artifactId>
       <version>${project.version}</version>
      <exclusions>
         <exclusion>
           <groupId>org.eclipse.jetty</groupId>
           <artifactId>*</artifactId>
         </exclusion>
       </exclusions>
     </dependency>
     <dependency>
       <groupId>org.apache.hudi</groupId>
       <artifactId>hudi-client-common</artifactId>
       <version>${project.version}</version>
       <exclusions>
         <exclusion>
           <groupId>org.eclipse.jetty</groupId>
           <artifactId>*</artifactId>
         </exclusion>
       </exclusions>
     </dependency>

解决 hive-service 冲突：

大约在第 417 行

      <exclusions>
		<exclusion>
          <artifactId>servlet-api</artifactId>
          <groupId>javax.servlet</groupId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.pentaho</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-jdbc 冲突：

大约在第 450 行

  <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

解决 hive-metastore 冲突：

大约在第 471 行

      <exclusions>
        <exclusion>
          <groupId>javax.servlet</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.datanucleus</groupId>
          <artifactId>datanucleus-core</artifactId>
        </exclusion>
        <exclusion>
          <groupId>javax.servlet.jsp</groupId>
          <artifactId>*</artifactId>
        </exclusion>
        <exclusion>
          <artifactId>guava</artifactId>
          <groupId>com.google.guava</groupId>
        </exclusion>
      </exclusions>

解决 hive-common 冲突：

大约在第 496 行

      <exclusions>
        <exclusion>
          <groupId>org.eclipse.jetty.orbit</groupId>
          <artifactId>javax.servlet</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.eclipse.jetty</groupId>
          <artifactId>*</artifactId>
        </exclusion>
      </exclusions>

增加 Hudi 配置版本的 jetty 依赖：

    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-util</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-webapp</artifactId>
      <version>${jetty.version}</version>
    </dependency>
    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-http</artifactId>
      <version>${jetty.version}</version>
    </dependency>
7. 编译 Hudi
mvn clean package -DskipTests -Dspark3.2 -Dscala-2.12 -Dhadoop.version=3.1.3 -Pflink-bundle-shade-hive3

参数解析：

  • clean：指示 Maven 清除先前构建的任何输出文件（例如生成的类和 JAR 文件）。

  • install：指示 Maven 在本地 Maven 存储库中安装构建的库（Hudi JAR）以供其他项目使用。

  • DskipTests：指示 Maven 在构建期间跳过运行任何测试。这将加快构建速度，但也意味着无法确定Hudi是否按预期工作。

  • 其余选项都是对相关组件版本的指定。

如果出现错误：未知的名称或服务，请修改 DNS 域名。

可以参考这篇博客进行解决：ping报错:未知的名称或服务

需要 10 分钟左右，等待依赖下载完成。

8. 启动测试
cd $HUDI_HOME

# 启动 hudi-cli
hudi-cli/hudi-cli.sh

出现如下界面，表示 Hudi 编译成功。

编译完成后，相关的包都在 $HUDI_HOME/packaging目录下：

到此为止，Hudi 0.12.0 安装完成。

Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1867
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
大数据之Hudi数据湖_执行编译hudi命令和jar包位置_hudi和hive集成_和spark集成_和presto集成_和flink集成_和trino集成---大数据之Hudi数据湖工作笔记0004
添柴程序猿的专栏
10-11 288
比如,把hudi-hive-sync-bundle和hudi-hadoop-mr-bundle中的jar包,放到hive项目的lib目录下面就可以了.这就算是跟hive集成了,当然spark也一样,这里我们用。比如想跟flink集成,那么就 从hudi-flink-bundle中拿出jar包,然后放到flink的依赖中,也就是对应的lib中就可以了。在hudi源码的根目录执行就可以了,注意要指定spark的版本上面指定的是3.2 如果不指定默认是3,最好都指定一下.hudi跟谁集成,那么就,直接。
CentOS7.x安装hudi-0.11.0
2403_88666941的博客
04-01 997
修改apache-maven/conf目录下的settings.xml文件。-- 仅代理 central，排除 confluent -->修改hudi-0.11.0文件夹目录下的pom.xml文件。在hive最下边 zookeeper上添加jetty。-- 增加hudi配置版本的jetty -->-- 增加hudi配置版本的jetty -->修改文件pom.xml解决spark依赖冲突。1170行左右添加阿里云镜像。113行左右添加null。到此hudi就搭建完毕了！修改hudi目录下的文件。
Hudi集成Hive
m0_37689903的博客
09-15 354
本文主要介绍了Hudi集成Hive
大数据数据湖技术Hudi0.12.0版本源码编译
不以物喜的博客
05-24 1361
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。 Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。 Apache Hudi可以轻松地在任何云存储平台上使用。
Hudi 0.12.0 搭建——集成 Hive3.1 与 Spark3.2
hzp666的博客
04-04 2504
Hudi 默认依赖的 Hadoop 为 Hadoop2.x，要兼容 Hadoop3.x，则需要修改 Hudi 源码。找到镜像依赖配置，添加新的下载依赖，我这里选用的阿里云依赖，必须放在第一个，否则不会起作用。找到镜像属性配置的那里，添加镜像，我这里选用的阿里云镜像。，而 Hudi 本身用的 jetty 版本是。需要 10 分钟左右，等待依赖下载完成。出现如下界面，表示 Hudi 编译成功。，其携带的 jetty 版本是。，存在依赖冲突，会造成编译错误。文件，修改组件的对应版本号。编译完成后，相关的包都在。
Hudi编译安装
weixin_45417821的博客
10-20 2684
（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。将hudi-0.12.0.src.tgz上传到/opt/software，并解压。（1）修改setting.xml，指定为阿里仓库地址。1）新增repository加速依赖下载。2）修改依赖的组件版本。
【IDEA】数据湖 Hudi 0.12.0 基础使用
JIE的博客 --- moon_coder
04-20 1177
集群系统：CentOS 7.5。
hudi-bundle-0.12.0.zip
最新发布
04-25
Hudi版本0.12.0的发布为数据工程师提供了更加灵活和强大的数据处理工具，无论是与实时流处理引擎Apache Flink的结合，还是与Spark、Presto、Trino等分析工具的集成，或是与传统MapReduce作业、Hive仓库的兼容，都能...
【Hudi】编译
weixin_45746689的博客
06-11 1129
通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip。(1)上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码。（1）修改setting.xml，指定为阿里仓库地址。
解锁Hudi+Spark：大数据处理的超强组合拳
敏叔
02-05 1022
在大数据领域，数据的存储和处理是两大核心任务。Hudi（Hadoop Upserts Delete and Incremental）作为一种新兴的数据湖存储框架，正逐渐崭露头角，它为大规模数据集提供了高效的增量数据处理和实时数据更新能力。而 Spark，作为大数据处理领域的明星框架，以其快速的内存计算、丰富的 API 和强大的分布式处理能力，在批处理、流处理以及机器学习等多个场景中广泛应用。
Hudi社区 ｜ Apache Hudi 0.12.0版本重磅发布！
Focus on Lakehouse
08-23 1384
Presto-Hudi 连接器从 PrestoDB 0.275 版本开始，用户现在可以利用原生 Hudi 连接器来查询 Hudi 表。它与 Hive 连接器中的 Hudi 支持相当。要了解有关连接器使用的更多信息，请查看prestodb 文档[1]。存档点以外的存档Hudi 支持保存点和恢复功能，这对备份和灾难恢复场景很有用。更多信息查看这里[2]。在 0.12.0 之前，给定表的归档在第一次保...
hudi与spark整合
sinat_42671149的博客
11-21 1469
hudi与spark thrift整合
Apache Hudi 0.12.2发布
从大数据到人工智能的博客
01-11 471
我们的目标是维护 0.12 更长时间，并通过最新的 0.12.x 版本提供稳定版本供用户迁移。此版本 (0.12.2) 是最新的 0.12 版本。
02_快速体验 Hudi、编译 Hudi、安装HDFS、安装Spark 3.x、模拟数据、插入数据、查询数据、.hoodie文件、数据文件、Hudi 数据存储概述、Metadata 元数据等
涂作权的博客
08-11 1949
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。每条记录由记录的key值进行标识并映射到一个fileId。
hudi集群环境搭建（hudi+hadoop+spark+zk+kafka）
xiamu17的博客
03-26 3643
一、集群环境配置 1.集群配置 hostname slave1 slave2 slave3 ip 192.168.100.164 192.168.100.163 192.168.100.162 内存 16G 16G 8G usernmae root root root 安装常用工具 yum install -y epel-release yum install -y net-tools yum install -y vim 2.集群常用脚本 用户bin目录下 2.1 集群分发
Hudi-ubuntu环境搭建
weixin_56039103的博客
04-11 1299
二是基于日志，这也是业界广泛使用的一种方式，一般是通过binlog方式，变更的记录会写入binlog，解析binlog后会写入消息系统，或直接基于Flink CDC进行处理。一是基于查询的，客户端会通过SQL方式查询源库表变更数据，然后对外发送。这种 CDC 技术是入侵式的，需要在数据源执行 SQL 语句。，即变更数据捕获，主要面向数据库的变更，是是数据库领域非常常见的技术，主要用于捕获数据库的一些变更，然后可以把变更数据发送到下游。警告对于指令执行并没有什么影响，但还是看着不舒服，通过这种方式可以解决。
hudi搭建【大数据比赛长期更新】
qq_52612109的博客
05-24 2834
hudi搭建 题目分析 本任务需要使用root用户完成相关配置，具体要求如下： 1、 从宿主机/opt目录下将maven相关安装包复制到容器Master中的/opt/software（若路径不存在，则需新建）中，将maven相关安装包解压到/opt/module/目录下（若路径不存在，则需新建）并配置maven本地库为/opt/software/RepMaven/，远程仓库使用阿里云镜像，配置maven的环境变量，并在/opt/下执行mvn -v，将运行结果截图粘贴至客户端桌面【Release\任务A提交
Hudi 0.12.0 搭建
04-04
Hudi是一个基于Hadoop的开源数据湖技术，可以支持大规模数据的实时流式处理和增量更新。以下是Hudi 0.12.0的搭建步骤。 1. 安装Hadoop和Spark 首先需要安装Hadoop和Spark，这里不再赘述。 2. 下载Hudi 从Hudi官方网站（https://hudi.apache.org/）下载Hudi的二进制文件。 3. 配置Hadoop和Spark 将Hadoop和Spark的配置文件放置在Hudi的conf目录下。 4. 配置Hudi 在Hudi的conf目录下创建hudi-site.xml文件，并添加以下内容： ``` <configuration> <property> <name>hoodie.write.concurrency.mode</name> <value>optimistic_concurrency_control</value> <description> Concurrency control mode to use for writes. Supported modes are: optimistic_concurrency_control, pessimistic_concurrency_control </description> </property> <property> <name>hoodie.datasource.write.recordkey.field</name> <value>id</value> <description> The field in the record that uniquely identifies a record. If not set, the record will be assigned a random UUID as the key. </description> </property> <property> <name>hoodie.datasource.write.partitionpath.field</name> <value>date</value> <description> The field in the record that is used to determine the partition path. If not set, the partition path will be the default partition path. </description> </property> </configuration> ``` 5. 启动Hudi 使用以下命令启动Hudi： ``` ./bin/hudi-quickstart.sh ``` 6. 测试Hudi 使用以下命令运行Hudi测试： ``` ./bin/run-hoodie-quickstart.sh ``` 如果一切正常，将会在终端中输出相关信息。 以上是Hudi 0.12.0的搭建步骤，希望对您有所帮助。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月亮给我抄代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值